[論文レビュー] On student-teacher deviations in distillation: does it pay to disobey?

Vaishnavh Nagarajan, Aditya Krishna Menon+3 more|arXiv (Cornell University)|Jan 30, 2023

Middle East and Rwanda Conflicts被引用数 6

ひとこと要約

本稿は、知識蒸留におけるパラドックスを解消する。学生モデルが教師の信頼度を系統的に誇張し、勾配降下法における隠れられたバイアスが強化されることを示しており、これらが一般化性能の向上と同時に発生する。教師のソフトラベルから逸脱しても、蒸留によって引き起こされる正則化効果のおかげで、学生モデルは一般化性能が向上する。

ABSTRACT

Knowledge distillation (KD) has been widely used to improve the test accuracy of a "student" network, by training it to mimic the soft probabilities of a trained "teacher" network. Yet, it has been shown in recent work that, despite being trained to fit the teacher's probabilities, the student may not only significantly deviate from the teacher probabilities, but may also outdo than the teacher in performance. Our work aims to reconcile this seemingly paradoxical observation. Specifically, we characterize the precise nature of the student-teacher deviations, and argue how they can co-occur with better generalization. First, through experiments on image and language data, we identify that these probability deviations correspond to the student systematically exaggerating the confidence levels of the teacher. Next, we theoretically and empirically establish another form of exaggeration in some simple settings: KD exaggerates the implicit bias of gradient descent in converging faster along the top eigendirections of the data. Finally, we tie these two observations together: we demonstrate that the exaggerated bias of KD can simultaneously result in both (a) the exaggeration of confidence and (b) the improved generalization of the student, thus offering a resolution to the apparent paradox. Our analysis brings existing theory and practice closer by considering the role of gradient descent in KD and by demonstrating the exaggerated bias effect in both theoretical and empirical settings.

研究の動機と目的

• 知識蒸留における学生モデルが教師の確率から逸脱しているにもかかわらず、教師よりも一般化性能が優れているというパラドックスを解消すること。
• 特にモデル容量の不一致がない自己蒸留設定において、学生-教師の乖離の性質を特定すること。
• 蒸留が勾配降下法の隠れられたバイアスに与える影響を調査し、それが一般化に与える影響を評価すること。
• 系統的な乖離、特に信頼度の誇張がランダムではなく、正則化効果に起因する有益な性質であることを示すこと。
• 理論と実践を橋渡しし、信頼度の誇張という経験的観察を、蒸留訓練における勾配降下法の理論的性質と結びつけること。

提案手法

• 20以上の画像および言語分類設定において、ログティログプロットを用いて信頼度の誇張を可視化することで、学生-教師確率の乖離を経験的に分析する。
• 線形回帰における勾配降下法のダイナミクスを理論的に分析し、蒸留がデータヘシアンの上位固有方向への隠れられたバイアスを強化することを証明する。
• 畳み込みニューラルネットワーク（CNN）および多層パーセプトロン（MLP）の第1層および中間層における固有空間への収束プロットを用いて、深層ネットワークにおける誇張された隠れられたバイアスを経験的に検証する。
• 蒸留からワンホット損失、およびその逆への切り替えを制御的に実施することで、学習目的が信頼度レベルおよび一般化性能に与える影響を隔離する。
• モデル容量の差が存在しない自己蒸留設定を用い、蒸留の影響をモデル容量の違いとは独立して分離し、信頼度の誇張が同様のアーキテクチャであっても発生することを確認する。
• ログティおよびパラメータの射影の時間的変化を時系列プロットで分析することで、訓練過程における学生-教師乖離の進化を調査し、誇張がいつ・どのように発生するかを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 なぜ蒸留された学生モデルは教師のソフト確率から逸脱しているにもかかわらず、一般化性能が向上するのか？
• RQ2 学生-教師の乖離はどのような形をとり、それは系統的かランダムか？
• RQ3 知識蒸留は勾配降下法の隠れられたバイアスを強化するのか？ もしそうなら、最適化および一般化にどのような影響を与えるのか？
• RQ4 モデル容量が同一である自己蒸留設定でも、蒸留における信頼度の誇張は観察可能か？
• RQ5 学習目的を切り替える（例：蒸留からワンホットに）と、信頼度レベルおよびモデル性能にどのような影響が生じるか？

主な発見

• 20以上の多様な画像および言語分類設定において、蒸留された学生モデルは教師の信頼度を系統的に誇張しており、高信頼度の教師予測に対してはより高い信頼度を示し、低信頼度の予測に対してはより低い信頼度を示す。
• 自己蒸留では、学生と教師のアーキテクチャが同一であっても信頼度の誇張が発生するため、この行動がモデル容量の不一致に起因するものではないことを示している。
• 理論的分析により、蒸留が勾配降下法の隠れられたバイアスを強化することを示しており、線形回帰において、データヘシアンの上位固有方向への収束が速くなる。
• 経験的結果により、蒸留が深層ネットワークにおける隠れられたバイアスを誇張することを確認しており、学生モデルが教師よりも主要なデータ固有方向に速く収束する。
• 損失切り替え実験により、ワンホット損失に切り替えると信頼度の誇張が抑制され、逆に蒸留に戻すと再び誇張が現れるため、信頼度の誇張が蒸留目的に因果関係を持つことが確認された。
• 非補間的教師設定（例：TinyImageNet）では、中間段階でワンホット損失に切り替えると精度が向上するが、補間的設定（例：CIFAR100）では性能が低下する。これは、一般化における隠れられたバイアスの役割を支持する。