[論文レビュー] Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Dec 17, 2020

Adversarial Robustness in Machine Learning参考文献 92被引用数 151

ひとこと要約

本論文は、同一アーキテクチャのニューラルネットワークのアンサンブルが、マルチビューなデータ構造の下でテスト精度を劇的に向上させること、そしてこの改善を単一モデルに蒸留できることを理論的・経験的に示していることを提示する。さらに、この改善を暗黙のエンサンブル＋蒸留として自己蒸留を分析する。

ABSTRACT

We formally study how ensemble of deep learning models can improve test accuracy, and how the superior performance of ensemble can be distilled into a single model using knowledge distillation. We consider the challenging case where the ensemble is simply an average of the outputs of a few independently trained neural networks with the SAME architecture, trained using the SAME algorithm on the SAME data set, and they only differ by the random seeds used in the initialization. We show that ensemble/knowledge distillation in Deep Learning works very differently from traditional learning theory (such as boosting or NTKs, neural tangent kernels). To properly understand them, we develop a theory showing that when data has a structure we refer to as ``multi-view'', then ensemble of independently trained neural networks can provably improve test accuracy, and such superior test accuracy can also be provably distilled into a single model by training a single model to match the output of the ensemble instead of the true label. Our result sheds light on how ensemble works in deep learning in a way that is completely different from traditional theorems, and how the ``dark knowledge'' is hidden in the outputs of the ensemble and can be used in distillation. In the end, we prove that self-distillation can also be viewed as implicitly combining ensemble and knowledge distillation to improve test accuracy.

研究の動機と目的

• 従来の学習理論を超えて、エンサンブル法が深層学習におけるテスト精度をなぜ向上させるのかを説明する。
• エンサンブルの利点が証明できるマルチビュー・データ設定を導入・形式化する。
• エンサンブルの改善を、同じデータで学習した単一モデルに蒸留できることを示す。
• 自己蒸留がエンサンブルと蒸留を効果的に組み合わせて性能を向上させることを示す。

提案手法

• 平滑化されたReLU活性化を用いた2層畳み込みネットワークに対する理論分析。
• マルチビューおよびシングルビューのデータ分布と対応するデータ生成過程の定義。
• 勾配降下法による訓練結果は、単一モデルが完璧な訓練精度を達成する一方で、D上のテスト誤差はほぼランダムであることを示す。
• 独立に訓練されたモデルのエンサンブルが、著しく良いテスト精度を達成することの証明。
• エンサンブルの出力を模倣する新しいモデルを訓練する（知識蒸留）ことで、同様に改善されたテスト精度を得られることの実証。
• 自己蒸留が暗黙のエンサンブル＋蒸留として機能し、さらなる利得をもたらすという主張。

実験結果

リサーチクエスチョン

• RQ1 独立して訓練され、同一構造のニューラルネットワークの出力を平均することは、マルチビュー・データ設定においてテスト精度にどう影響するか。
• RQ2 同じ訓練データ上でエンサンブルの出力を模倣するような単一モデルを訓練することで、エンサンブルの性能向上を再現できるか（知識蒸留）。
• RQ3 ダークナレッジの機構と、それが蒸留および自己蒸留に果たす役割は何か。
• RQ4 自己蒸留は深層学習における暗黙のエンサンブルと蒸留にどのように関連するか。

主な発見

• 提案された設定では、単一モデルが完璧な訓練精度を達成できるが、テスト誤差は0.49μ–0.51μにとどまる。
• 独立に訓練されたモデルLのエンサンブルは、高確率でテスト誤差≤0.01μを達成する。
• エンサンブル出力を模倣するよう訓練された別のモデル（知識蒸留）も、テスト誤差≤0.01μを達成する。
• 自己蒸留（同一サイズの別モデルから蒸留する）は、テスト誤差≤0.26μを達成する可能性がある。
• ランダム特徴上の知識蒸留（NTK）はエンサンブルの利点を再現せず、NTK/特徴ビューと実際の深層学習の特徴学習との違いを強調する。
• 結論として、本研究は、深層学習におけるエンサンブル／知識蒸留は、従来のエンサンブル理論だけでなく、マルチビューデータ下での特徴学習ダイナミクスから生まれることを強調する。