[論文レビュー] Even your Teacher Needs Guidance: Ground-Truth Targets Dampen Regularization Imposed by Self-Distillation

Kenneth Borup, Lars Nørvang Andersen|arXiv (Cornell University)|Feb 25, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用数 5

ひとこと要約

本論文は、カーネル回帰における自己蒸留の理論的分析を初めて提供し、各蒸留段階で真のターゲットを組み込むことで正則化が効果的に強化されることを示している。最適な重みパラメータの閉形式解を導出し、無限大の蒸留ステップが正則化が強化されたカーネルリッジ回帰問題に収束することを証明している。これは、自己蒸留が単なる知識移転を超えて一般化性能を向上させる理由を説明している。

ABSTRACT

Knowledge distillation is classically a procedure where a neural network is trained on the output of another network along with the original targets in order to transfer knowledge between the architectures. The special case of self-distillation, where the network architectures are identical, has been observed to improve generalization accuracy. In this paper, we consider an iterative variant of self-distillation in a kernel regression setting, in which successive steps incorporate both model outputs and the ground-truth targets. This allows us to provide the first theoretical results on the importance of using the weighted ground-truth targets in self-distillation. Our focus is on fitting nonlinear functions to training data with a weighted mean square error objective function suitable for distillation, subject to $\ell_2$ regularization of the model parameters. We show that any such function obtained with self-distillation can be calculated directly as a function of the initial fit, and that infinite distillation steps yields the same optimization problem as the original with amplified regularization. Furthermore, we provide a closed form solution for the optimal choice of weighting parameter at each step, and show how to efficiently estimate this weighting parameter for deep learning and significantly reduce the computational requirements compared to a grid search.

研究の動機と目的

• 自己蒸留が新たなデータなしに一般化性能を向上させる理由を理論的に説明すること。
• μat正則化下での反復的自己蒸留における真のターゲットの役割を分析すること。
• 各蒸留段階における最適重みパラメータ α の閉形式解を導出すること。
• カーネル回帰フレームワークにおける無限大の蒸留ステップの極限的挙動を特徴づけること。
• 自己蒸留が正則化が強化されたカーネルリッジ回帰問題を解くことと同等であることを示すこと。

提案手法

• 真のターゲットとモデル予測ターゲットを組み合わせた重み付き平均二乗誤差を目的関数とする反復的最適化問題として自己蒸留を定式化する。
• 過パラメータ化領域におけるディープラーニングの一般化をモデル化するため、μat正則化を施したカーネルリッジ回帰を用いる。
• 各蒸留段階における最適解を導出するために、Karush-Kuhn-Tucker (KKT) 条件を適用する。
• グリーン関数とカーネル行列の固有値分解を用いて、最適重みパラメータ α の閉形式表現を導出する。
• ステップ τ での解が初期フィットと重みパラメータの系列にのみ依存することを確立する。
• 無限大の蒸留ステップの極限が、正則化パラメータが $\frac{1}{1-\alpha}$ 倍に拡大された元の問題を解くことと同等であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 真のターゲットの組み込みが、反復的自己蒸留における正則化強度にどのように影響するか？
• RQ2 各蒸留段階における真のターゲットとモデル予測ターゲットの最適な重みバランスは何か？
• RQ3 無限大の自己蒸留ステップは、明確に定義された最適化問題に収束するか？
• RQ4 反復的自己蒸留プロセスは閉形式解に簡略化可能か？
• RQ5 自己蒸留は、正則化が強化されたカーネルリッジ回帰とどのように関係するか？

主な発見

• 自己蒸留によって得られる任意のモデルは、反復的再トレーニングを経ることなく、初期モデルのフィットから直接計算可能である。
• 無限大の蒸留ステップは、正則化パラメータが $\frac{1}{1-\alpha}$ 倍にスケーリングされたカーネルリッジ回帰の解と同一の解に収束する。
• 各ステップにおける最適重みパラメータ α は、カーネル行列とターゲットノルムから導出された閉形式表現を持つ。
• グリッドサーチを用いずに α を効率的に推定可能であり、計算コストを顕著に削減できる。
• 理論的枠組みにより、自己蒸留が一般化性能を向上させる理由が説明される：過パラメータ化モデルにおける過学習を低減するため、正則化が実際に強化される。
• 各ステップ τ での解は $\mathbf{y}^{(\tau)} = \mathbf{g}(\mathbf{x})^\top (\mathbf{G} + \lambda_\tau \mathbf{I})^{-1} (\alpha \mathbf{y} + (1-\alpha)\mathbf{y}^{(\tau-1)})$ と表現され、蒸留がカーネル手法と関連付けられる。