[論文レビュー] Knowledge Distillation: Bad Models Can Be Good Role Models

Gal Kaplun, Eran Malach+2 more|arXiv (Cornell University)|Mar 28, 2022

Machine Learning and Algorithms被引用数 6

ひとこと要約

この論文は、一般化性能が悪いにもかかわらず、過パラメータ化されたニューラルネットワークが、ラベルノイズの条件付きサンプリングとして機能することで、効果的な知識蒸留の教師として機能しうると提案している。理論的には、このような「悪い」モデルからの蒸留は、教師が予測性能が低くても、学生ネットワークがベイズ最適分類器に近づくことを保証する。

ABSTRACT

Large neural networks trained in the overparameterized regime are able to fit noise to zero train error. Recent work \citep{nakkiran2020distributional} has empirically observed that such networks behave as "conditional samplers" from the noisy distribution. That is, they replicate the noise in the train data to unseen examples. We give a theoretical framework for studying this conditional sampling behavior in the context of learning theory. We relate the notion of such samplers to knowledge distillation, where a student network imitates the outputs of a teacher on unlabeled data. We show that samplers, while being bad classifiers, can be good teachers. Concretely, we prove that distillation from samplers is guaranteed to produce a student which approximates the Bayes optimal classifier. Finally, we show that some common learning algorithms (e.g., Nearest-Neighbours and Kernel Machines) can generate samplers when applied in the overparameterized regime.

研究の動機と目的

• 過パラメータ化されたモデルが訓練ノイズを完璧に適合させても一般化性能が良いのはなぜかを理解すること。
• ラベルノイズの条件付きサンプリングとして機能するモデルの理論的性質を調査すること。
• このようなノイズ混入モデルが知識蒸留における効果的な教師として機能できるかを検討すること。
• このようなサンプリングモデルからの蒸留が、学生がベイズ最適分類器に近づくという理論的保証を確立すること。

提案手法

• 訓練分布における過パラメータ化されたモデルがラベルノイズの条件付きサンプリングとして機能することの理論的分析。
• 未ラベルデータに対するソフトラベルを用いた、こうしたサンプリングモデルからの知識蒸留の形式化。
• 弱い仮定の下で、条件付きサンプリングからの蒸留がベイズ最適分類器に収束することの証明。
• 過パラメータ化領域において、こうしたサンプリングを生成する一般的な学習アルゴリズム（例：最近傍法、カーネル機械）の同定。
• 分布一般化理論を用いて、これらのモデルが未観測データに対して示す挙動の分析。
• 学生ネットワークがサンプリングから蒸留された際に、ベイズリスクに収束することを示す一般化境界の導出。

実験結果

リサーチクエスチョン

• RQ1 ノイズ混入した訓練データを完璧に適合させる過パラメータ化されたモデルでも、知識蒸留の教師として有用に機能できるか？
• RQ2 これらのノイズ混入モデルは、一般化性能およびサンプリング挙動に関して、どのような理論的性質を示すか？
• RQ3 こうしたモデルからの知識蒸留が、学生ネットワークの一般化性能を向上させるか？
• RQ4 どの一般的な学習アルゴリズムが過パラメータ化領域において自然に条件付きサンプリングを生成するか？
• RQ5 サンプリングからの蒸留が、学生をベイズ最適分類器に近づける理論的保証があるか？

主な発見

• ノイズ混入データで訓練された過パラメータ化されたモデルは、未観測入力に対してもラベルノイズを再現する条件付きサンプリングとして機能する。
• 予測精度が低いにもかかわらず、こうしたモデルは知識蒸留における効果的な教師として機能する。
• こうしたサンプリングからの蒸留は、学生ネットワークがベイズ最適分類器に近づくことを保証する。
• 最近傍法やカーネル機械などの一般的なアルゴリズムは、過パラメータ化領域で適用された際に、条件付きサンプリングを生成する。
• 理論的分析により、サンプリングからの蒸留が、ベイズリスクに近い一般化性能を学生に与えることが確認された。