[論文レビュー] Knowledge Distillation in Wide Neural Networks: Risk Bound, Data Efficiency and Imperfect Teacher

Guangda Ji, Zhanxing Zhu|arXiv (Cornell University)|Oct 20, 2020

Stochastic Gradient Optimization Techniques参考文献 25被引用数 6

ひとこと要約

本稿は、ニューラルタングェントカーネル（NTK）線形化を用いた広いニューラルネットワークにおける知識蒸留の理論的分析を提供する。ランダム特徴空間における角度分布に基づく転移リスクバウンドを導出し、完璧な教師モデルの場合に高いソフトラベル比と早期停止がデータ効率を向上させることを示し、不完全な教師モデルの場合にハードラベルとソフトラベルを混合することで誤りが是正されることを説明する。実践的なハイブリッド蒸留の根拠を明確に提示する。

ABSTRACT

Knowledge distillation is a strategy of training a student network with guide of the soft output from a teacher network. It has been a successful method of model compression and knowledge transfer. However, currently knowledge distillation lacks a convincing theoretical understanding. On the other hand, recent finding on neural tangent kernel enables us to approximate a wide neural network with a linear model of the network's random features. In this paper, we theoretically analyze the knowledge distillation of a wide neural network. First we provide a transfer risk bound for the linearized model of the network. Then we propose a metric of the task's training difficulty, called data inefficiency. Based on this metric, we show that for a perfect teacher, a high ratio of teacher's soft labels can be beneficial. Finally, for the case of imperfect teacher, we find that hard labels can correct teacher's wrong prediction, which explains the practice of mixing hard and soft labels.

研究の動機と目的

• 広いニューラルネットワークにおける知識蒸留の理論的理解を提供すること。現時点では、厳密な根拠が不足している。
• ランダム特徴空間における角度分布に基づき、線形化された学生ネットワークの転移リスクバウンドを導出すること。
• 「データ非効率性」という新しい指標を導入し、蒸留における分類タスクのサンプル効率としての難易度を定量化すること。
• 教師モデルが不完全な場合にハードラベルとソフトラベルを混合することで得られる実践的利点を説明すること。
• ソフトラベルの使用とハードラベルによる誤り是正のトレードオフを分析することで、より効率的な蒸留手法の設計を支援すること。

提案手法

• 著者らは、ニューラルタングェントカーネル（NTK）フレームワークを用いて広いニューラルネットワークを線形化し、ランダム特徴の線形モデルを用いて学習ダイナミクスを分析可能にする。
• 彼らは、ランダム特徴空間における学生とオラクルの重みベクトル間の角度分布に基づき、転移リスクバウンドを導出する。
• 蒸留中の分類タスクの難易度（サンプル効率）を定量化するため、新たに「データ非効率性」という指標を導入する。
• ソフトラベル比ρが収束速度と一般化性能に与える影響を分析し、ρが大きいほど学生の重み方向がオラクルモデルに速く収束することを示す。
• ハードラベルの影響は、重み空間における方向補正としてモデル化され、内積⟨δŵh, Δŵc⟩の符号が、ハードラベルがオラクルとの整合性を改善するかどうかを示す。
• 合成データおよび実データ（例：CIFAR-10/ResNet）を用いた実験により、理論的知見の妥当性を検証する。特に、教師の停止エポックがハードラベルの有用性を決定づける役割を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 ソフトラベル比ρは、広いニューラルネットワークにおける知識蒸留の収束速度と一般化性能にどのように影響するか？
• RQ2 知識蒸留における観察されたデータ効率の理論的根拠は何か？ そして、どのように定量化できるか？
• RQ3 教師モデルが不完全な場合に、ハードラベルとソフトラベルを混合することで性能が向上するのはなぜか？
• RQ4 どのような条件下でハードラベルを追加することで、学生のオラクルモデルとの整合性が向上するか？
• RQ5 教師の一般化能力が、蒸留におけるハードラベルの最適な使用法にどのように影響するか？

主な発見

• ソフトラベル比ρが高いほど、転移リスクが速やかに減少する。これは、学生の重み方向がオラクルモデルの方向に速やかに収束するためである。
• 完璧な教師の場合、早期停止と高いソフトラベル比ρにより、データ非効率性が低減され、より高いデータ効率が達成される。
• ハードラベルの導入により、教師が誤りを犯している場合に学生の予測が是正される。特に教師が完全に一般化していない場合に顕著である。
• 内積⟨δŵh, Δŵc⟩の符号が、ハードラベルがオラクルとの整合性を改善するかどうかを決定づける。正の値は、是正が有益であることを示す。
• 教師がよく一般化している場合（停止エポックが高い場合）、ハードラベルは役に立たず、場合によっては有害になる。これは、⟨δŵh, Δŵc⟩の符号が反転するのを観察したことで示された。
• ソフトラベルとハードラベルの最適なバランスは、教師の一般化能力に依存する。ハードラベルは、教師が不完全だが過学習していない場合に最も効果的である。