[논문 리뷰] Variational Information Distillation for Knowledge Transfer

Sung Soo Ahn, Shell Xu Hu외 3명|arXiv (Cornell University)|2019. 04. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 35

한 줄 요약

본 논문은 Variational Information Distillation (VID)를 도입한다. 이는 변분 하한을 이용해 교사와 학생 네트워크 간 상호정보량을 최대화하는 정보 이론적 프레임워크로, 동일한 아키텍처와 서로 다른 아키텍처 간의 지식 이전을 향상시킨다.

ABSTRACT

Transferring knowledge from a teacher neural network pretrained on the same or a similar task to a student neural network can significantly improve the performance of the student neural network. Existing knowledge transfer approaches match the activations or the corresponding hand-crafted features of the teacher and the student networks. We propose an information-theoretic framework for knowledge transfer which formulates knowledge transfer as maximizing the mutual information between the teacher and the student networks. We compare our method with existing knowledge transfer methods on both knowledge distillation and transfer learning tasks and show that our method consistently outperforms existing methods. We further demonstrate the strength of our method on knowledge transfer across heterogeneous network architectures by transferring knowledge from a convolutional neural network (CNN) to a multi-layer perceptron (MLP) on CIFAR-10. The resulting MLP significantly outperforms the-state-of-the-art methods and it achieves similar performance to the CNN with a single convolutional layer.

연구 동기 및 목표

• 데이터가 제한되거나 교사와 학생 간 데이터셋이 서로 다른 경우에 지식 이전의 필요성을 제시한다.
• 교사와 학생 표현 간의 상호정보량을 최대화하는 것으로 지식 이전을 공식화한다.
• 훈련을 가능하고 실행 가능하게 만들기 위한 변분 objective를 제공한다.
• VID가 기존의 증류 방법을 일반화하고 아키텍처 및 과제 전반에서 성능을 향상시킨다는 것을 보인다.

제안 방법

• 교사와 학생 계층 활성화 간의 상호정보량을 정의하고 q(t|s)를 사용하여 변분 하한을 공식화한다.
• 손실 L_S와 변분 상호정보량 항의 음수를 결합한 손실을 최소화한다. 예: L = L_S - sum_k lambda_k E_{t^(k),s^(k)}[log q(t^(k)|s^(k))].
• q(t|s)를 평균 mu(s)와 분산 sigma^2를 갖는 가우시안으로 매개변수화하며, mu는 학습되며(종종 선형 또는 합성곱 형태) sigma는 양수로 제약된다.
• 지식 이전을 위한 중간층 (VID-I) 또는 로짓-페니얼티메이트 (VID-LP) 계층 쌍을 다루며, 적용 가능한 경우 공간적으로 구조화된 t를 사용한다.
• R과 mu(s)의 특정 선택에서 KD, FitNet, AT, NST, LwF 등 기존 방법들이 특수한 경우로 도출된다는 것을 보인다.
• CIFAR-10에서 이종 CNN-대 MLP 전이를 포함한 지식 증류 및 전이 학습 과제에서 최첨단 방법들과 VID를 비교한다.

실험 결과

연구 질문

• RQ1 교사와 학생 표현 간의 상호정보량 최대화가 기존 방법들보다 지식 이전을 개선할 수 있는가?
• RQ2 VID는 이종 아키텍처 간(예: CNN에서 MLP로) 및 과제/데이터셋 간 지식을 전이할 수 있는가?
• RQ3 형식화 및 성능 측면에서 VID가 이전의 증류 방법들(KD, FitNet, AT, NST, LwF)과 어떤 관계가 있으며 어떻게 일반화되는가?

주요 결과

• VID는 증류 및 전이 학습 설정에서 KD, FitNet, AT, NST, LwF를 능가하며, 데이터가 부족한 상황에서 더 큰 이점을 보인다.
• VID-I(중간층 매칭)는 데이터 가용성에 따라 CIFAR-10/100에서 기준선보다 일관되게 더 높은 정확도를 얻는다.
• VID-LP(로짓-페니얼티 매칭)와 VID-I 모두 전이 학습 시나리오를 포함해 강력한 성능을 보인다.
• 이종 지식 이전이 효과적이다: CNN 교사가 CIFAR-10에서 MLP 학생의 성능을 상당 부분 향상시켜 CNN-MLP 간의 성능 격차를 크게 줄인다.
• 이 프레임워크는 여러 기존 방법들을 특수한 경우로 포함하게 하여 지식 이전에 대한 통합적이고 원칙적인 기반을 강조한다.