[논문 리뷰] Data-Free Learning of Student Networks

Hanting Chen, Yunhe Wang외 7명|arXiv (Cornell University)|2019. 04. 02.

Advanced Neural Network Applications참고 문헌 30인용 수 6

한 줄 요약

이 논문은 실존하는 학습 데이터에 접근할 수 없을 때, 사전 훈련된 교사 네트워크로부터 생성된 가짜 데이터를 사용하여 컴팩트한 학생 신경망을 훈련시키는 새로운 프레임워크인 Data-Free Learning (DAFL)을 제안한다. 생성적 적대적 네트워크(GAN)를 활용해 실존 데이터 없이도 학습을 가능하게 하며, 교사는 고정된 판별자로 작용하고 생성기는 교사의 활성화를 최대화하는 가짜 이미지를 생성한다. 이를 통해 지식 전이가 이루어지며, CIFAR-10에서 92.22%의 정확도와 CIFAR-100에서 74.47%의 정확도를 달성한다.

ABSTRACT

Learning portable neural networks is very essential for computer vision for the purpose that pre-trained heavy deep models can be well applied on edge devices such as mobile phones and micro sensors. Most existing deep neural network compression and speed-up methods are very effective for training compact deep models, when we can directly access the training dataset. However, training data for the given deep network are often unavailable due to some practice problems (e.g. privacy, legal issue, and transmission), and the architecture of the given network are also unknown except some interfaces. To this end, we propose a novel framework for training efficient deep neural networks by exploiting generative adversarial networks (GANs). To be specific, the pre-trained teacher networks are regarded as a fixed discriminator and the generator is utilized for derivating training samples which can obtain the maximum response on the discriminator. Then, an efficient network with smaller model size and computational complexity is trained using the generated data and the teacher network, simultaneously. Efficient student networks learned using the proposed Data-Free Learning (DAFL) method achieve 92.22% and 74.47% accuracies using ResNet-18 without any training data on the CIFAR-10 and CIFAR-100 datasets, respectively. Meanwhile, our student network obtains an 80.56% accuracy on the CelebA benchmark.

연구 동기 및 목표

• 개인정보, 법적 제약 또는 전송 제약으로 인해 실존 학습 데이터를 확보할 수 없을 때, 컴팩트하고 효율적인 신경망을 훈련시키는 데 도전하는 것.
• 실존 학습 데이터나 사전 훈련된 교사 네트워크의 아키텍처에 접근할 수 없는 상황에서도 지식 전이를 가능하게 하는 것.
• 사전 훈련된 모델의 내부 표현에서 현실적인 학습 데이터를 생성하여 더 작고 이식 가능한 학생 네트워크를 훈련시키는 방법을 개발하는 것.
• 실존 학습 데이터 없이도 교사 네트워크의 특징 반응에서 유도된 합성 데이터만을 사용해 벤치마크 데이터셋에서 높은 정확도를 달성하는 것.

제안 방법

• 사전 훈련된 교사 네트워크를 고정된 판별자로 간주하고, 교사의 출력 활성화를 최대화하는 가짜 이미지를 생성하는 생성기 네트워크를 훈련시킨다.
• 생성기는 교사 네트워크가 가짜 이미지를 확신 있게 분류하도록 학습되는 적대적 과정을 통해 실존 데이터 분포를 모방한다.
• 학생 네트워크는 생성된 합성 이미지와 교사 네트워크로부터의 지식 전이를 통해 훈련되며, 소프트 레이블과 중간 특징 기반의 손실 함수를 사용한다.
• 원래 데이터셋의 입력 분포와 일치하는 고해상도 이미지를 생성하기 위해, 특수한 대안 DCGAN 아키텍처를 사용한 수정된 GAN 설정을 활용한다.
• 잠재 벡터 차원 수 및 학습률과 같은 하이퍼파rameter는 각 데이터셋에 맞게 조정되며, 생성기는 원래 데이터 다양체를 근사하기 위해 엔드 투 엔드로 훈련된다.
• 본 방법은 원래 학습 데이터, 모델 아키텍처 또는 파라미터에 접근할 필요 없이, 오직 교사 네트워크의 입력/출력 인터페이스만을 요구한다.

실험 결과

연구 질문

• RQ1 실존 학습 데이터가 전혀 없이도 사전 훈련된 교사 네트워크의 추론 행동만을 활용하여 학생 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 교사 네트워크의 출력만 접근 가능한 상황에서 GAN 기반 생성기가 원래 데이터 분포를 얼마나 잘 근사할 수 있는가?
• RQ3 교사 네트워크로부터의 지식 전이와 합성 데이터를 조합했을 때, 실존 데이터로 훈련한 것과 유사한 성능을 달성할 수 있는가?
• RQ4 MNIST, CIFAR-10, CIFAR-100, CelebA와 같이 복잡도가 다양한 다양한 데이터셋에서 본 방법의 성능은 어떠한가?

주요 결과

• 제안된 DAFL 방법은 실존 학습 예제 없이도 교사 네트워크에서 생성된 합성 데이터만을 사용해 CIFAR-10에서 92.22%의 상위-1 정확도를 달성한다.
• CIFAR-100에서는 학생 네트워크가 메타데이터나 무작위 노이즈에 의존하는 기존 방법보다 뚜렷이 뛰어난 74.47%의 정확도를 기록한다.
• CelebA 데이터셋에서는 합성 이미지만을 사용해 학생 네트워크가 80.56%의 정확도를 달성했으며, 교사 네트워크의 81.59% 정확도에 근접한다.
• 교사 네트워크와 동일한 아키텍처로 학생 네트워크를 훈련했을 때, MNIST에서는 LeNet-5를 사용해 98.91%의 정확도를 기록했고, HintonNet을 사용해 98.39%를 달성했으며, 교사의 성능에 매우 가깝게 수렴한다.
• 본 방법은 다양한 데이터셋에 잘 일반화된다: 교사 네트워크와 동일한 아키텍처를 사용할 경우, CIFAR-10과 CIFAR-100에서 각각 93.21%와 75.32%의 정확도를 달성한다.
• 광범위한 아블레이션 분석 결과, 실존 데이터, 일반 노이즈 또는 MNIST 데이터로 훈련하면 제안된 GAN 기반 합성 데이터보다 성능이 현저히 열 劣하다. 이는 데이터 생성 전략의 효과성을 확인한다.