[논문 리뷰] Meta Knowledge Distillation

Jihao Liu, Boxiao Liu외 2명|arXiv (Cornell University)|2022. 02. 16.

Advanced Neural Network Applications인용 수 20

한 줄 요약

Meta Knowledge Distillation (MKD)는 교사와 학생의 증류 온도를 메타학습하여 지식 증류 저하를 완화하고, 추가 데이터 없이 ImageNet-1K에서 ViT 성능을 향상시킵니다.

ABSTRACT

Recent studies pointed out that knowledge distillation (KD) suffers from two degradation problems, the teacher-student gap and the incompatibility with strong data augmentations, making it not applicable to training state-of-the-art models, which are trained with advanced augmentations. However, we observe that a key factor, i.e., the temperatures in the softmax functions for generating probabilities of both the teacher and student models, was mostly overlooked in previous methods. With properly tuned temperatures, such degradation problems of KD can be much mitigated. However, instead of relying on a naive grid search, which shows poor transferability, we propose Meta Knowledge Distillation (MKD) to meta-learn the distillation with learnable meta temperature parameters. The meta parameters are adaptively adjusted during training according to the gradients of the learning objective. We validate that MKD is robust to different dataset scales, different teacher/student architectures, and different types of data augmentation. With MKD, we achieve the best performance with popular ViT architectures among compared methods that use only ImageNet-1K as training data, ranging from tiny to large models. With ViT-L, we achieve 86.5% with 600 epochs of training, 0.6% better than MAE that trains for 1,650 epochs.

연구 동기 및 목표

• 강력한 데이터 증강과 더 큰 교사를 사용할 때 표준 KD가 왜 저하되는지 식별합니다.
• 교사와 학생의 증류 온도를 적응적으로 설정하기 위한 메타학습 프레임워크를 제안합니다.
• 데이터세트 규모, 아키텍처, 및 증강에 걸친 MKD의 강건성을 보여줍니다.
• ImageNet-1K를 사용한 기존 방법과 비교하여 Vision Transformers (ViT)에서 MKD의 효과를 입증합니다.

제안 방법

• 교사와 학생에 대해 각각 다른 온도(tau_t, tau_s)로 KD를 수식화합니다.
• 검증 세트의 메타 목표를 통해 이러한 온도를 온라인으로 최적화하기 위한 메타 파라미터를 도입합니다.
• 학생의 원-스텝 사전 업데이트를 수행한 다음 검증 손실을 역전파하여 메타 파라미터를 업데이트합니다.
• 새로 학습된 온도로 학생을 업데이트합니다.
• 더 빠른 적응을 위해 작은 네트워크(온도 예측 네트워크)로 온도를 모델링하는 것을 선택적으로 제공합니다.
• 오답 샘플에 초점을 맞춘 대체 메타 목표를 제공합니다.

실험 결과

연구 질문

• RQ1 KD에서 교사와 학생의 적응형 온도가 교사-학생 격차와 증강 불일치를 완화할 수 있나요?
• RQ2 MKD가 표준 데이터로 ImageNet-1K를 사용할 때 ViT 및 다른 아키텍처를 개선하나요?
• RQ3 교사와 학생에 대해 개별 온도가 공유되거나 격자 탐색 값보다 더 나은가요?
• RQ4 데이터세트 크기, 교사/학생 아키텍처, 증강 유형에 대해 MKD의 강건성은 어느 정도인가요?

주요 결과

• 적절히 조정된 온도는 강한 증강과 용량 차이로 인한 KD 저하를 크게 완화시킬 수 있습니다.
• MKD는 CIFAR-100 및 ImageNet-1K 벤치마크에서 격자 탐색 온도 및 표준 KD를 능가합니다.
• ImageNet-1K에서 처음부터 학습된 ViT 아키텍처에서 MKD는 ViT-L에서 86.5% top-1을 달성합니다(이전 보고 85.15%와 대조).
• MKD는 다양한 학생 크기에 대해 이전 ViT 증류 방법에 비해 2.0–4.2포인트의 이득을 제공합니다.
• 온도 예측 네트워크를 사용하면 적응 속도와 최종 성능이 향상됩니다.
• 테스트된 메타학습 설정 중에서 tau_s와 tau_t를 개별적으로 함께 학습하는 것이 최상의 결과를 제공합니다.