[論文レビュー] Revisiting Label Smoothing and Knowledge Distillation Compatibility: What was Missing?

Keshigeyan Chandrasegaran, Ngoc-Trung Tran+2 more|arXiv (Cornell University)|Jun 29, 2022

Machine Learning and Data Classification被引用数 6

ひとこと要約

本論文は、長年の矛盾であるラベルスムージング（LS）が知識蒸留（KD）に悪影響を及えるかどうかを解消し、『システム的拡散』を欠落していたメカニズムとして同定した。高温でLSで訓練された教師から蒸留する際、学生の表現は意味的に類似したクラスへ系統的に拡散し、KDの利点を損なう。著者らは、LSで訓練された教師から低温で蒸留すると、学生の性能が優れることが示され、LS-KDの相性問題に対する実用的解決策を提供する。

ABSTRACT

This work investigates the compatibility between label smoothing (LS) and knowledge distillation (KD). Contemporary findings addressing this thesis statement take dichotomous standpoints: Muller et al. (2019) and Shen et al. (2021b). Critically, there is no effort to understand and resolve these contradictory findings, leaving the primal question -- to smooth or not to smooth a teacher network? -- unanswered. The main contributions of our work are the discovery, analysis and validation of systematic diffusion as the missing concept which is instrumental in understanding and resolving these contradictory findings. This systematic diffusion essentially curtails the benefits of distilling from an LS-trained teacher, thereby rendering KD at increased temperatures ineffective. Our discovery is comprehensively supported by large-scale experiments, analyses and case studies including image classification, neural machine translation and compact student distillation tasks spanning across multiple datasets and teacher-student architectures. Based on our analysis, we suggest practitioners to use an LS-trained teacher with a low-temperature transfer to achieve high performance students. Code and models are available at https://keshik6.github.io/revisiting-ls-kd-compatibility/

研究の動機と目的

• ラベルスムージング（LS）が知識蒸留（KD）に悪影響を及えるかどうかに関する文献における矛盾した結果を解消すること。
• LS-KDの相性研究で生じる一貫性のない結果を引き起こす背後メカニズムを同定すること。
• 実践的で原則的かつ経験的に妥当な戦略を提示し、LSとKDを組み合わせること。
• 高温でLSで訓練された教師から蒸留する際、学生の表現が系統的に拡散するため、LSで訓練された教師からの高温KDは効果がないことを示すこと。

提案手法

• 学生モデルの最終層前の表現における系統的拡散を定量的に測定するための新規指標、拡散インデックス（η）を提案する。
• 最終層前の特徴量の定性的可視化を用い、LSで訓練された教師から高温で蒸留すると、意味的に類似したクラスの表現が収束することを示す。
• 画像分類（ImageNet-1K、CUB200-2011）、ニューラル機械翻訳（IWSLT）、コン act student distillation（MobileNetV2、EfficientNet-B0）のタスクにおいて大規模な実験を実施する。
• 異なるクラスタ間距離の特徴付けに対して、拡散インデックス（η）の妥当性を保証するため、代替距離指標（例：ペアワイズ距離）を用いて妥当性を検証する。
• ラベルスムージング強度の増加（α=0.2）を用いたアブレーションスタディを実施し、系統的拡散が継続し、より悪化することを確認する。

実験結果

リサーチクエスチョン

• RQ1 なぜラベルスムージングと知識蒸留の相性に関して、矛盾した結果が生じるのか？
• RQ2 高温でラベルスムージングされた教師から蒸留する際に、性能劣化を引き起こすメカニズムは何か？
• RQ3 教師ネットワークにおける情報消去の利点が、KDにおける悪影響を上回るのか？
• RQ4 どのような条件下でラベルスムージングは知識蒸留と相性が良いのか？

主な発見

• 高温でLSで訓練された教師から蒸留する際、学生の表現が意味的に類似したクラスへ系統的に拡散する現象が生じ、KDの利点が損なわれる。
• 拡散インデックス（η）は、LSで訓練された教師から高温で蒸留した学生モデルの表現が、類似クラスへ顕著に拡散していることを定量的に確認する。
• ImageNet-1KおよびCUB200-2011における実験から、LSで訓練された教師から低温で蒸留すると、高温で蒸留する場合に比べ、学生の性能が優れていることが示された。
• より大きなラベルスムージングハイパーパrameter（α=0.2）を用いることで、系統的拡散が顕著に強化され、この現象がスムージング強度に一般化されることを確認した。
• 代替距離指標（例：ペアワイズ距離）を用いた結果も一貫しており、拡散インデックス（η）が異なるクラスタ間距離の特徴付けに対して堅牢であることが検証された。