[논문 리뷰] DAFL: Data-Free Learning of Student Networks

Hanting Chen, Yunhe Wang외 7명|arXiv (Cornell University)|2019. 04. 02.

Advanced Neural Network Applications참고 문헌 27인용 수 9

한 줄 요약

이 논문은 기존 학습 데이터에 접근할 수 없는 환경에서 원본 학습 데이터 없이도 압축형 학생 네트워크를 훈련시킬 수 있도록 하는 데이터 프리 디스틸레이션 프레임워크인 DAFL을 제안한다. 이 방법은 사전 훈련된 교사 네트워크의 활성화를 최대화하는 GAN 기반 생성기로 데이터를 합성하여 작동한다. 본 방법은 CIFAR-10에서 92.22%의 정확도와 CIFAR-100에서 74.47%의 정확도를 달성하여, 데이터 프리 환경에서 효과적인 지식 전이를 입증한다.

ABSTRACT

Learning portable neural networks is very essential for computer vision for the purpose that pre-trained heavy deep models can be well applied on edge devices such as mobile phones and micro sensors. Most existing deep neural network compression and speed-up methods are very effective for training compact deep models, when we can directly access the training dataset. However, training data for the given deep network are often unavailable due to some practice problems (e.g. privacy, legal issue, and transmission), and the architecture of the given network are also unknown except some interfaces. To this end, we propose a novel framework for training efficient deep neural networks by exploiting generative adversarial networks (GANs). To be specific, the pre-trained teacher networks are regarded as a fixed discriminator and the generator is utilized for derivating training samples which can obtain the maximum response on the discriminator. Then, an efficient network with smaller model size and computational complexity is trained using the generated data and the teacher network, simultaneously. Efficient student networks learned using the proposed Data-Free Learning (DAFL) method achieve 92.22% and 74.47% accuracies using ResNet-18 without any training data on the CIFAR-10 and CIFAR-100 datasets, respectively. Meanwhile, our student network obtains an 80.56% accuracy on the CelebA benchmark.

연구 동기 및 목표

• 기밀, 법적 또는 전송 제약으로 인해 원본 학습 데이터에 접근할 수 없을 때 압축형 딥 네트워크를 훈련시키는 데 도전하는 것.
• 학습 데이터나 교사 네트워크의 아키텍처에 접근할 필요 없이 사전 훈련된 교사 네트워크로부터 지식 디스틸레이션을 가능하게 하는 것.
• 학생 네트워크를 효과적으로 훈련시킬 수 있도록 GAN을 통해 합성 데이터를 생성하는 방법을 개발하는 것.
• 실제 학습 데이터 없이 교사 네트워크의 추론 인터페이스만을 사용하여 표준 벤치마크에서 높은 정확도를 달성하는 것.

제안 방법

• 사전 훈련된 교사 네트워크가 고정된 판별기 역할을 하는 생성적 적대적 네트워크(GAN)가 사용된다.
• 생성기는 교사 네트워크의 최종 레이어 반응을 최대화하는 합성 데이터 샘플을 생성한다.
• 학생 네트워크는 생성된 데이터와 함께 교사 네트워크로부터의 지식 디스틸레이션을 동시에 훈련한다.
• 생성기는 교사 네트워크가 높은 신뢰도 예측을 내리도록 속이는 데이터를 최적화하여 생성한다.
• 이 방법은 교사의 정방향 전파 인터페이스만을 사용하며, 아키텍처나 가중치는 사용하지 않는다.
• 학생 네트워크는 합성 데이터와 디스틸레이션 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 원본 학습 데이터에 접근할 수 없을 때 학생 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 학습 데이터가 없는 환경에서 GAN 기반의 데이터 생성 전략이 교사 네트워크에서 학생 네트워크로 지식을 전이하는 데 얼마나 효과적인가?
• RQ3 교사 네트워크의 추론 인터페이스와 합성 데이터만을 사용하여 표준 벤치마크에서 어떤 정도의 성능을 달성할 수 있는가?
• RQ4 제안된 데이터 프리 디스틸레이션 방법은 기존의 데이터 의존적 지식 디스틸레이션 접근 방식과 비교해 어떻게 성능을 내는가?

주요 결과

• DAFL 방법은 실질적인 학습 데이터 없이 학생 네트워크를 사용하여 CIFAR-10에서 92.22%의 상위-1 정확도를 달성한다.
• CIFAR-100에서는 74.47%의 정확도를 기록하여 더 복잡한 분류 작업에서도 강력한 일반화 능력을 보여준다.
• CelebA 벤치마크에서는 80.56%의 정확도를 기록하여 다양한 시각 작업 간의 전이 가능성도 입증한다.
• 원본 데이터셋이나 모델 아키텍처에 접근할 필요 없이 효과적인 모델 압축과 속도 향상을 가능하게 한다.
• 결과적으로, 교사 네트워크를 판별기로 사용할 경우 GAN으로 생성된 데이터가 디스틸레이션을 위해 실재 데이터를 효과적으로 모방할 수 있음을 보여준다.