[論文レビュー] Revisit Knowledge Distillation: a Teacher-free Framework

Yuan Li, Francis E. H. Tay+3 more|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning被引用数 74

ひとこと要約

本論文は、事前学習済みの教師モデルを必要とせず、学生モデルが自分自身の知識または手動で設計された正則化分布から知識を蒸留する、教師なし知識蒸留（Tf-KD）という新しいフレームワークを提案する。この手法は、強力な教師モデルを用いた従来の知識蒸留と同等の性能を達成し、追加の計算コストを伴わずにImageNetの精度を最大0.65%向上させる。

ABSTRACT

Knowledge Distillation (KD) aims to distill the knowledge of a cumbersome teacher model into a lightweight student model. Its success is generally attributed to the privileged information on similarities among categories provided by the teacher model, and in this sense, only strong teacher models are deployed to teach weaker students in practice. In this work, we challenge this common belief by following experimental observations: 1) beyond the acknowledgment that the teacher can improve the student, the student can also enhance the teacher significantly by reversing the KD procedure; 2) a poorly-trained teacher with much lower accuracy than the student can still improve the latter significantly. To explain these observations, we provide a theoretical analysis of the relationships between KD and label smoothing regularization. We prove that 1) KD is a type of learned label smoothing regularization and 2) label smoothing regularization provides a virtual teacher model for KD. From these results, we argue that the success of KD is not fully due to the similarity information between categories, but also to the regularization of soft targets, which is equally or even more important. Based on these analyses, we further propose a novel Teacher-free Knowledge Distillation (Tf-KD) framework, where a student model learns from itself or manually-designed regularization distribution. The Tf-KD achieves comparable performance with normal KD from a superior teacher, which is well applied when teacher model is unavailable. Meanwhile, Tf-KD is generic and can be directly deployed for training deep neural networks. Without any extra computation cost, Tf-KD achieves up to 0.65\% improvement on ImageNet over well-established baseline models, which is superior to label smoothing regularization. The codes are in: \url{this https URL}

研究の動機と目的

• 強力な教師モデルが知識蒸留に有効であるという一般的な仮定に挑戦すること。
• 知識蒸留の成功が、主にクラス間の類似性情報にあるのか、それともソフトラベル正則化にあるのかを調査すること。
• 事前学習済みの教師モデルが不要な汎用的で計算コストのないフレームワークを開発すること。
• 自己蒸留または手動で設計された正則化が、教師-学生型知識蒸留と同等の性能を達成できることを示すこと。

提案手法

• 知識蒸留を学習済みラベルスムージング正則化の一形態として定式化する。
• KDとラベルスムージングの理論的関連性を提示し、KDがソフトターゲットを通じて仮想教師を暗黙的に適用することを示す。
• 訓練中に学生自身の予測結果を仮想ソフトラベルとして使用し、自己蒸留を可能にする。
• 自己蒸留が不十分な場合に、正則化分布を手動で設計できる。
• アーキテクチャの変更なしに、深層ニューラルネットワークの訓練に直接適用可能な汎用的アプローチである。
• 標準的な訓練に追加して、推論時または訓練時の計算コストは一切不要である。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの教師モデルが存在しない場合でも、知識蒸留は有効に機能するか？
• RQ2 KDの成功は、主にクラス間の類似性情報にあるのか、それともソフトラベル正則化にあるのか？
• RQ3 学生モデルがソフトターゲットを活用することで、自己蒸留によって自己改善できるか？
• RQ4 性能面において、知識蒸留はラベルスムージング正則化とどのように比較できるか？
• RQ5 手動で設計された正則化分布は、強力な教師モデルを用いたKDと同等の結果を達成できるか？

主な発見

• Tf-KDは、well-establishedなベースラインモデルと比較して、ImageNetのトップ-1精度を最大0.65%向上させる。
• Tf-KDの性能は、優れた教師モデルを用いた従来のKDと同等である。
• 学生自身の予測結果を用いた自己蒸留は、初期段階で教師モデルよりも優れた学生モデルに対しても顕著な精度向上をもたらす。
• ラベルスムージング正則化はKDの特殊ケースであることが示され、KDはより柔軟で効果的な正則化形式を提供することが明らかになった。
• このフレームワークは汎用的であり、追加の計算コストを伴わず、深層ニューラルネットワークの訓練に直接適用可能である。
• 理論的分析により、KDが仮想教師モデルを伴う学習済みラベルスムージング正則化として機能することが確認された。