[論文レビュー] Towards Understanding Knowledge Distillation

Mary Phuong, Christoph H. Lampert|arXiv (Cornell University)|May 27, 2021

Machine Learning and Algorithms被引用数 133

ひとこと要約

本論文は、線形モデルおよび深線形モデルに対する知識蒸留の理論的分析を提供し、迅速な一般化を証明し、転移性能を左右する3つの要因—データ幾何学、最適化バイアス、および強い単調性—を特定する。

ABSTRACT

Knowledge distillation, i.e., one classifier being trained on the outputs of another classifier, is an empirically very successful technique for knowledge transfer between classifiers. It has even been observed that classifiers learn much faster and more reliably if trained with the outputs of another classifier as soft labels, instead of from ground truth data. So far, however, there is no satisfactory theoretical explanation of this phenomenon. In this work, we provide the first insights into the working mechanisms of distillation by studying the special case of linear and deep linear classifiers. Specifically, we prove a generalization bound that establishes fast convergence of the expected risk of a distillation-trained linear classifier. From the bound and its proof we extract three key factors that determine the success of distillation: * data geometry -- geometric properties of the data distribution, in particular class separation, has a direct influence on the convergence speed of the risk; * optimization bias -- gradient descent optimization finds a very favorable minimum of the distillation objective; and * strong monotonicity -- the expected risk of the student classifier always decreases when the size of the training set grows.

研究の動機と目的

• 経験的観察を超えて知識蒸留を動機づけ、分析する。
• 蒸留訓練された線形分類器の迅速な収束を示す一般化境界を導出する。
• 知識蒸留の成功を決定づける3つの要因を特定し説明する：データ幾何学、最適化バイアス、強い単調性。
• n >= d の場合、有限のサンプルで蒸留が教師の重みを回復できることを示す。

提案手法

• 線形の教師と線形の生徒（直接的または深い線形ネットワーク）を用いて蒸留設定をモデル化する。
• 教師の出力のシグモイドから得られるソフトラベルを用いて、生徒を微小勾配フローで訓練する。
• 勾配フローの下で生徒のエンドツーエンドの重みに対する閉形式の漸近解を導出する。
• n >= d に対してリスクがゼロになる転送リスク境界を証明し、n < d に対して分布依存の境界を示す。
• 転送リスクを評価するため、幾何量（w*とデータ間の角度など）を導入する。
• データ幾何学、最適化バイアス、単調性が学習ダイナミクスと転移効率にどのように影響するかを論じる。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で蒸留訓練された線形生徒が有限のサンプルで教師の重みを回復できるか。
• RQ2 生徒はソフトラベルからどれくらい速く学習するのか、データ幾何学が転送リスクにどう影響するのか。
• RQ3 蒸留の成功における最適化ダイナミクスとデータ分布の役割は何か。
• RQ4 線形蒸留において訓練データを増やすことが転送リスク（単調性）にどのように影響するか。

主な発見

• n >= d のとき、生徒は教師の重みベクトルを確率1で完全に同定する（ほぼ確実に）。
• n < d のとき、生徒はデータのスパンへの教師の重みの射影、すなわち最良の部分空間制約付き近似を学習する。
• 転送リスクは n >= d でゼロに収束し、n < d の場合は w* とデータ間の角度幾何を含む分布依存の式で境界付けられる。
• 大きなマージンまたは良く整列したデータ分布では、転送リスクは指数的に減衰するか、n の多項式的境界で表される速度で減衰する（コロラリー1および2）。
• 結果はデータ幾何学（クラス分離と w* との整合性）、最適化バイアス（勾配降下法が有利な極小点へ収束すること）、および強い単調性（データを追加しても転送リスクが決して増加しないこと）という3つの要因を示す。
• 理論は古典的なハードラベル学習と対比して、有効な有限サンプル保証を提供し、迅速な収束と明示的なリスク境界を含む。