[논문 리뷰] Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis

Zi Wang|arXiv (Cornell University)|2021. 04. 10.

Advanced Neural Network Applications참고 문헌 37인용 수 4

한 줄 요약

이 논문은 원본 훈련 데이터를 사용하지 않고도 고품질의 가짜 훈련 샘플을 생성하기 위해 교사 네트워크의 중간 특징 공간을 다변량 정규분포로 모델링하고, 노이즈 최적화를 위한 소프트 타겟을 생성하는 데이터 프리 지식 정착 방법을 제안한다. 이 방법은 원본 훈련 데이터를 전혀 사용하지 않음에도 불구하고 MNIST에서 99.08%의 정확도와 CIFAR-10에서 93.31%의 정확도를 기록하며 기존의 데이터 프리 KD 방법들을 능가한다. 이는 얕은 레이어에서 유도된 더 일반화된, 레이블 불일치에 강건한 소프트 타겟을 활용함으로써 달성된다.

ABSTRACT

Knowledge distillation (KD) has proved to be an effective approach for deep neural network compression, which learns a compact network (student) by transferring the knowledge from a pre-trained, over-parameterized network (teacher). In traditional KD, the transferred knowledge is usually obtained by feeding training samples to the teacher network to obtain the class probabilities. However, the original training dataset is not always available due to storage costs or privacy issues. In this study, we propose a novel data-free KD approach by modeling the intermediate feature space of the teacher with a multivariate normal distribution and leveraging the soft targeted labels generated by the distribution to synthesize pseudo samples as the transfer set. Several student networks trained with these synthesized transfer sets present competitive performance compared to the networks trained with the original training set and other data-free KD approaches.

연구 동기 및 목표

• 기밀성 또는 저장 제약으로 인해 원본 훈련 데이터를 이용할 수 없을 때 지식 정착의 과제를 해결하기 위해.
• 직접 소프트맥스 출력을 모델링하는 대신 중간 특징 표현을 모델링하여 데이터 프리 KD에서 합성된 전달 세트의 품질을 향상시키기 위해.
• 소프트맥스 공간에 다변량 분포를 적용하는 기존 방법에서 흔히 발생하는 레이블 불일치 문제를 줄이기 위해.
• 얕은 레이어의 고수준 특징 공간에서 유도된 더 일반화된 소프트 타겟을 통해 학생 네트워크 성능을 향상시키기 위해.
• 다양한 아키텍처와 벤치마크 데이터셋에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 교사 네트워크의 중간 레이어(예: FC-2)의 출력을 다변량 정규분포로 모델링하여 특징 분포를 포착한다.
• 이 다변량 정규분포에서 소프트 타겟 레이블을 샘플링하여 가짜 훈련 이미지의 합성에 안내한다.
• 백프로파게이션을 통해 노이즈 입력을 최적화하여 교사의 노이즈 입력에 대한 순방향 전파 결과와 샘플된 소프트 타겟 간의 거리를 최소화한다.
• 최적화된 가짜 샘플을 표준 지식 정착의 정착 손실을 사용하여 학생 네트워크를 훈련하기 위한 전달 세트로 활용한다.
• 더 높은 뉴런 활성화를 유도하기 위해 활성화 손실을 추가로 통합한다. 이는 합성 샘플의 품질 향상에 기여한다.
• t-SNE 시각화를 통해 다변량 정규분포와 다이리클레 분포에 의해 생성된 소프트 타겟의 군집 품질을 비교한다.

실험 결과

연구 질문

• RQ1 교사 네트워크의 중간 특징 공간을 다변량 정규분포로 모델링하는 것이 데이터 프리 KD에서 합성된 가짜 샘플의 품질을 향상시키는가?
• RQ2 소프트맥스 레이어를 모델링하는 것보다 얕은 특징 레이어에서 유도된 소프트 타겟을 사용할 경우 학생 모델의 일반화 및 성능이 향상되는가?
• RQ3 기존 방법에서 소프트맥스 출력에 다이리클레 분포를 적용함으로써 발생하는 레이블 불일치 문제의 영향은 무엇이며, 이를 완화할 수 있는가?
• RQ4 활성화 손실을 추가하면 가짜 샘플 최적화와 그에 따른 학생 모델 정확도 향상에 얼마나 기여하는가?
• RQ5 다양한 데이터셋과 아키텍처에서 제안된 방법은 기존의 데이터 프리 KD 접근법과 비교해 정확도와 강건성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 원본 훈련 데이터 없이도 교사 네트워크만을 사용하여 MNIST에서 99.08%의 테스트 정확도와 CIFAR-10에서 93.31%의 정확도를 달성하였으며, 기존의 데이터 프리 KD 방법들을 능가하였다.
• 최종 소프트맥스 레이어가 아닌 두 번째 완전 연결 레이어(FC-2)의 특징 공간을 모델링함으로써 LeNet-5-HALF에서 0.12% 향상되고, AlexNet-HALF에서 1.59% 향상되었다.
• 다변량 정규분포는 다이리클레 분포보다 더 일관되고 잘 분리된 소프트 타겟을 생성하여, 각 클래스별 샘플링으로 인한 불일치를 방지함으로써 레이블 불일치 문제를 줄였다.
• 활성화 손실의 통합은 성능 향상에 기여했지만, 중간 특징 공간 모델링에 비해 기여도는 더 작았으며, 이는 특징 공간 모델링이 성공의 주요 기여 요소임을 시사한다.
• t-SNE 시각화 결과, 다변량 정규분포에서 생성된 소프트 타겟은 다이리클레 분포보다 더 명확하고 잘 분리된 군집을 형성함을 확인하였으며, 이는 더 나은 샘플 합성에 기여한다.
• 이 방법은 다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 보였으며, 이는 데이터 프리 KD 환경에서의 일반화 가능성과 강건성을 검증한다.