[論文レビュー] Self-Distillation Amplifies Regularization in Hilbert Space

Hossein Mobahi, Mehrdad Farajtabar+1 more|arXiv (Cornell University)|Feb 13, 2020

Gaussian Processes and Bayesian Inference参考文献 41被引用数 98

ひとこと要約

本論文は、L2正則化を伴うヒルベルト空間回帰における自己蒸留の理論分析を提供し、繰り返しの蒸留が解の基底を疎化し、過剰適合の抑制から過少適合の可能性へと移動することを示している。

ABSTRACT

Knowledge distillation introduced in the deep learning context is a method to transfer knowledge from one architecture to another. In particular, when the architectures are identical, this is called self-distillation. The idea is to feed in predictions of the trained model as new target values for retraining (and iterate this loop possibly a few times). It has been empirically observed that the self-distilled model often achieves higher accuracy on held out data. Why this happens, however, has been a mystery: the self-distillation dynamics does not receive any new information about the task and solely evolves by looping over training. To the best of our knowledge, there is no rigorous understanding of this phenomenon. This work provides the first theoretical analysis of self-distillation. We focus on fitting a nonlinear function to training data, where the model space is Hilbert space and fitting is subject to $\ell_2$ regularization in this function space. We show that self-distillation iterations modify regularization by progressively limiting the number of basis functions that can be used to represent the solution. This implies (as we also verify empirically) that while a few rounds of self-distillation may reduce over-fitting, further rounds may lead to under-fitting and thus worse performance.

研究の動機と目的

• 新しいタスク情報なしにもかかわらず、なぜ自己蒸留が一般化を改善するのかを理解する動機付け。
• ヒルベルト空間回帰設定の中で、自己蒸留を反復的な正則化機構として形式化する。
• 自己蒸留が正則化と解を表現するための有効な基底をどう変えるかを特徴づける。
• 自己蒸留が役に立つ場合と過少適合を引き起こす場合の境界と洞察を提供する。

提案手法

• Mercer核に基づく正則化項R(f)を用いた制約付き正則化回帰問題を設定する。
• カーネル演算子のGreen関数を用いて、解f*の表現者型の閉形式を導くKKT条件を導出する。
• 自己蒸留を訓練ラベルベクトルy_tに対する再帰として表現する、y_t = V^T A_{t-1} V y_{t-1}（A_tは対角行列）。
• 各ラウンドのf*は、(c I + G)^{-1}を含む閉形式を持つことを示す。Gはカーネルから構築されるGram様の行列。
• 積B_t = ∏_{i=0}^t A_iの変化を分析し、基底重みの逐次的な疎化を明らかにする。
• 近接補間レジームを議論し、疎化と正則化の観点で早期停止と比較する。

実験結果

リサーチクエスチョン

• RQ1 自意蒸留はヒルベルト空間回帰における正則化として機能するのか、もしそうならそれは有効基底をどう修正するのか。
• RQ2 自己蒸留ラウンドの回数は一般化と過学習のどちらに影響するか。
• RQ3 非零基底成分の数を上げられるか、自己蒸留が誘発する疎性パターンを記述できるか。
• RQ4 自己蒸留のダイナミクスが補間 regimeと潜在的な一般化利得にどう関連するか。
• RQ5 本解析から多クラス設定への拡張と一般化境界は何か。

主な発見

• 自己蒸留の反復は正則化を変化させ、解を表現するために使用される基底関数の数を徐々に制限する。
• 蒸留ステップにおける対角行列の積B_tはますます疎になり、実効モデル容量を削減する。
• 固定された誤差許容の下で、解がゼロ関数に崩壊する前に保証された回数のラウンドが存在する。
• 近接補間レジーム（小さなepsilon）は疎性を高め、崩壊前に維持すればより深い蒸留が正則化を高める可能性を示唆する。
• 大きな訓練誤差による早期停止は自己蒸留の疎化と同等ではなく、正則化の点で異なる振る舞いをする。