[論文レビュー] Revisiting Self-Distillation

Minh Pham, Minsu Cho+2 more|arXiv (Cornell University)|Jun 17, 2022

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本稿は深層学習における自己蒸留について調査し、高精度な教師モデルでさえも、自己蒸留によって学生モデルが教師を上回るテスト精度を達成できることを示している。著者らは、自己蒸ストが損失のランドスケープにおけるより平坦な極小値をもたらすことを示し、一般化性能の向上について幾何学的説明を提供している。また、マルチビュー仮説における矛盾を特定することで、既存の理論的説明に疑問を呈している。

ABSTRACT

Knowledge distillation is the procedure of transferring "knowledge" from a large model (the teacher) to a more compact one (the student), often being used in the context of model compression. When both models have the same architecture, this procedure is called self-distillation. Several works have anecdotally shown that a self-distilled student can outperform the teacher on held-out data. In this work, we systematically study self-distillation in a number of settings. We first show that even with a highly accurate teacher, self-distillation allows a student to surpass the teacher in all cases. Secondly, we revisit existing theoretical explanations of (self) distillation and identify contradicting examples, revealing possible drawbacks of these explanations. Finally, we provide an alternative explanation for the dynamics of self-distillation through the lens of loss landscape geometry. We conduct extensive experiments to show that self-distillation leads to flatter minima, thereby resulting in better generalization.

研究の動機と目的

• 複数のベンチマークと設定において自己蒸留を体系的に行い、その一貫した性能向上を理解すること。
• マルチビュー仮説を含む、知識蒸留の既存理論的説明を評価・検証し、矛盾する実証的証拠を同定することで、それらの理論的説明に疑問を呈すること。
• 損失ランドスケープの幾何学的性質、特に極小値の平坦さに着目し、自己蒸留の成功の代替的説明を提示・検証すること。
• 自己蒸留が平坦な極小値に起因する正則化効果によって一般化性能を向上させることを調査すること。

提案手法

• ResNetおよびVGGアーキテクチャを用いて、CIFAR-10、CIFAR-100、SVHNなどの標準的な画像分類ベンチマークで広範な実験を実施し、教師モデルと自己蒸留された学生モデルの性能を比較した。
• 教師モデルおよび学生モデルの両方の損失ランドスケープにおける極小値の平坦さを定量化するために、ヘッセ行列のトレースおよび最大固有値を測定した。
• 損失表面の等高線可視化を用いて、教師モデルと自己蒸留された学生モデルの極小値の幾何的性質を定性的に比較した。
• 温度パラメータを用いたクロスエントロピー損失を用いた知識蒸留を適用し、各蒸留ラウンドで学生モデルが教師モデルのソフトラベルを再現するように学習させた。
• 蒸留ラウンド数やハイパーパrameter（例：温度τ、蒸留重みα）がモデル性能および損失ランドスケープの性質に与える影響を分析するためのアブレーションスタディを実施した。
• モデルの多様性と類似性が性能向上に与える役割を評価するため、自己蒸留モデルをベースラインのアンサンブルおよびBAN（Bag of distilled models）と比較した。

実験結果

リサーチクエスチョン

• RQ1 教師モデルが非常に高精度であっても（例：SVHNでは95.23％）、自己蒸留は一貫してテスト精度を向上させるか？
• RQ2 マルチビュー仮説のような既存の理論的説明は、自己蒸留の成功を十分に説明できるか？
• RQ3 損失ランドスケープの幾何的性質、特に極小値の平坦さが、自己蒸留モデルの一般化性能の向上を説明できるか？
• RQ4 蒸留ラウンドを経るごとに損失ランドスケープはどのように変化するか？教師モデルと比較して平坦になるか？
• RQ5 自己蒸留におけるモデル類似性（ログイット差異）と性能向上の関係は何か？

主な発見

• 非常に高精度な教師モデル（例：SVHNでは95.23％）でさえも、自己蒸留により学生モデルは95.94％のテスト精度に到達し、教師を上回った。
• 自己蒸留された学生モデルは、ヘッセ行列のトレースおよび最大固有値が教師モデルより低いことから、損失ランドスケープにおいてより平坦な極小値を示した。
• 損失表面の等高線可視化により、特に複数回の蒸留ラウンドを経た後、学生モデルの極小値が教師モデルよりも平坦で、より一般化されていることが確認された。
• マルチビュー仮説は実証的結果によって反証された：自己蒸留は一貫してデータの新たなビューまたは側面を学習するわけではないため、その仮説が主な説明として有効であるとは言えない。
• 蒸留ラウンドを経るごとに、学生モデルと教師モデルのログイット差異が減少し、モデル類似性が向上するが、それでも性能は向上を続けるため、類似性が成功の要因ではないことが示唆された。
• 結果は、蒸留が損失ランドスケープを平坦化することで正則化効果を発揮することを支持しており、これは浅いモデルにおける理論的知見とも整合し、一般化性能の向上を説明するものである。