[논문 리뷰] Revisit Knowledge Distillation: a Teacher-free Framework

Yuan Li, Francis E. H. Tay외 3명|arXiv (Cornell University)|2019. 09. 25.

Domain Adaptation and Few-Shot Learning인용 수 74

한 줄 요약

이 논문은 사전에 훈련된 교사 모델이 필요 없는 새로운 프레임워크인 티처리스 지식 증류(Tf-KD)를 제안한다. 이 방법은 학생 모델이 스스로의 지식을 증류하거나 수동으로 설계된 정규화 분포로부터 지식을 습득함으로써 기존의 강력한 교사 모델이 필요 없도록 한다. 이 방법은 추가적인 계산 비용 없이도 강력한 기준 모델 대비 ImageNet 정확도를 최대 0.65% 향상시키며, 기존의 강력한 교사 모델을 사용한 전통적 지식 증류와 유사한 성능을 달성한다.

ABSTRACT

Knowledge Distillation (KD) aims to distill the knowledge of a cumbersome teacher model into a lightweight student model. Its success is generally attributed to the privileged information on similarities among categories provided by the teacher model, and in this sense, only strong teacher models are deployed to teach weaker students in practice. In this work, we challenge this common belief by following experimental observations: 1) beyond the acknowledgment that the teacher can improve the student, the student can also enhance the teacher significantly by reversing the KD procedure; 2) a poorly-trained teacher with much lower accuracy than the student can still improve the latter significantly. To explain these observations, we provide a theoretical analysis of the relationships between KD and label smoothing regularization. We prove that 1) KD is a type of learned label smoothing regularization and 2) label smoothing regularization provides a virtual teacher model for KD. From these results, we argue that the success of KD is not fully due to the similarity information between categories, but also to the regularization of soft targets, which is equally or even more important. Based on these analyses, we further propose a novel Teacher-free Knowledge Distillation (Tf-KD) framework, where a student model learns from itself or manually-designed regularization distribution. The Tf-KD achieves comparable performance with normal KD from a superior teacher, which is well applied when teacher model is unavailable. Meanwhile, Tf-KD is generic and can be directly deployed for training deep neural networks. Without any extra computation cost, Tf-KD achieves up to 0.65\% improvement on ImageNet over well-established baseline models, which is superior to label smoothing regularization. The codes are in: \url{this https URL}

연구 동기 및 목표

• 강력한 교사 모델이 있어야 효과적인 지식 증류가 가능하다는 일반적인 가정에 도전하기 위해.
• 지식 증류의 성공이 주로 소프트 레이블 정규화에 기인하는지, 아니면 클래스 간 유사성 정보에 기인하는지 조사하기 위해.
• 사전에 훈련된 교사 모델이 필요 없는 일반적이고 계산 비용이 없는 프레임워크를 개발하기 위해.
• 자기증류 또는 수동으로 설계된 정규화가 강력한 교사-학생 지식 증류와 유사한 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 지식 증류를 학습된 레이블 스무딩 정규화의 한 형태로 공식화한다.
• KD와 레이블 스무딩 간의 이론적 연결을 제안하며, KD가 소프트 타겟을 통해 가상의 교사 모델을 암묵적으로 적용함을 보여준다.
• 훈련 중에 학생 모델의 자체 예측을 가짜 소프트 레이블로 사용함으로써 자기증류를 가능하게 한다.
• 자기증류가 충분하지 않을 경우 수동으로 정규화 분포를 설계할 수 있도록 한다.
• 아키텍처 수정 없이도 깊은 신경망 훈련에 직접 적용 가능한 일반적인 접근법이다.
• 표준 훈련 외에 추가적인 추론 또는 훈련 계산이 필요하지 않다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 교사 모델이 없이도 지식 증류가 효과적으로 작동할 수 있는가?
• RQ2 KD의 성공은 주로 클래스 간 유사성 정보 때문인가, 아니면 소프트 레이블 정규화 때문인가?
• RQ3 학생 모델이 소프트 타겟을 활용하여 스스로의 예측을 통해 자기 자신을 향상시킬 수 있는가?
• RQ4 성능 측면에서 지식 증류는 레이블 스무딩 정규화와 어떻게 비교되는가?
• RQ5 수동으로 설계된 정규화 분포가 강력한 교사 모델을 사용한 KD와 유사한 성능을 낼 수 있는가?

주요 결과

• Tf-KD는 잘 정립된 기준 모델 대비 ImageNet에서 최대 0.65%의 상위-1 정확도 향상을 달성한다.
• Tf-KD의 성능는 강력한 교사 모델을 사용한 전통적 KD와 동일한 수준이다.
• 학생 모델의 자체 예측을 활용한 자기증류는 학생 모델가 교사 모델보다 초반에 더 강력할지라도도 상당한 정확도 향상을 이룬다.
• 레이블 스무딩 정규화는 KD의 특수한 경우임을 입증하며, KD는 더 유연하고 효과적인 정규화 형태를 제공한다.
• 이 프레임워크는 일반적이며 추가적인 계산 비용 없이도 깊은 신경망을 훈련하는 데 직접 적용 가능하다.
• 이론적 분석을 통해 KD가 가상의 교사 모델을 갖는 학습된 레이블 스무딩 정규화로 작용한다는 점을 확인한다.