[論文レビュー] On the Unreasonable Effectiveness of Knowledge Distillation: Analysis in the Kernel Regime

Arman Rahbar, Ashkan Panahi+3 more|arXiv (Cornell University)|Mar 30, 2020

Neural Networks and Applications参考文献 16被引用数 6

ひとこと要約

この論文は、極めて広い2層非線形ニューラルネットワークにおけるカーネル領域における知識蒸留（KD）の理論的分析を初めて提供する。KDが生徒ネットワークの収束を加速することを証明し、拡張された線形系のダイナミクスを用いて、教師ネットワークからのソフトラベルが真のラベルよりも高速で信頼性の高い学習を可能にすることを説明する。

ABSTRACT

Knowledge distillation (KD), i.e. one classifier being trained on the outputs of another classifier, is an empirically very successful technique for knowledge transfer between classifiers. It has even been observed that classifiers learn much faster and more reliably if trained with the outputs of another classifier as soft labels, instead of from ground truth data. However, there has been little or no theoretical analysis of this phenomenon. We provide the first theoretical analysis of KD in the setting of extremely wide two layer non-linear networks in model and regime in (Arora et al., 2019; Du & Hu, 2019; Cao & Gu, 2019). We prove results on what the student network learns and on the rate of convergence for the student network. Intriguingly, we also confirm the lottery ticket hypothesis (Frankle & Carbin, 2019) in this model. To prove our results, we extend the repertoire of techniques from linear systems dynamics. We give corresponding experimental analysis that validates the theoretical results and yields additional insights.

研究の動機と目的

• 実際の実装でソフトラベルを用いた知識蒸留（KD）が真のラベルを用いた学習よりも優れている理由を理論的に説明すること。
• 極めて広い2層ネットワークのカーネル領域におけるKDで訓練された生徒ネットワークの学習ダイナミクスを分析すること。
• 知識蒸留の文脈において、ロトテリックチケット仮説が成り立つかどうかを調査すること。
• 線形系のダイナミクス技術を拡張し、非線形で広いネットワーク設定におけるKDの挙動をモデル化・理解すること。

提案手法

• Aroraら（2019）、DuとHu（2019）、CaoとGu（2019）の最近の理論的枠組みを活用して、極めて広い2層非線形ニューラルネットワークにおけるカーネル領域での知識蒸留を分析する。
• 線形系のダイナミクスの拡張技術を用いて、KD下での生徒ネットワークの訓練ダイナミクスをモデル化する。
• 教師ネットワークからのソフトラベルで訓練された場合の生徒ネットワークの収束速度に関する理論的結果を導出する。
• 蒸留モデルにおける勝利のロトテリックチケット構造の存在と出現を調査する。
• モデルの挙動と収束速度に関する実験的分析を通じて、理論的発見を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜソフトラベルを用いた知識蒸留が真のラベルを用いた場合よりも高速かつ信頼性の高い学習をもたらすのか？
• RQ2 カーネル領域におけるKDの下で、生徒ネットワークがどのようなインダクティブバイアスや構造的性質を学ぶのか？
• RQ3 初期化時にランダムに設定された部分ネットワークが、完全なネットワークと同等の性能を達成できるというロトテリックチケット仮説は、知識蒸留の文脈でも成り立つか？
• RQ4 収束速度がKD下でのアーキテクチャと訓練ダイナミクスにどのように依存するのか？

主な発見

• 知識蒸留は、真のラベルを用いた学習と比較して、生徒ネットワークの収束速度を顕著に加速する。
• 教師が広い非線形ネットワークであっても、生徒ネットワークは教師の出力分布と密接に一致する関数を学習する。
• KDの文脈においてロトテリックチケット仮説が確認された：ランダム初期化から訓練された部分ネットワークは、蒸留されたソフトラベルで学習することで、完全なネットワークと同等の性能を達成できる。
• 理論的分析により、カーネル領域がKD下での生徒ネットワークダイナミクスを正確に特徴づけることができ、ソフトラベルの有効性を説明できることが明らかになった。