[論文レビュー] Understanding and Improving Knowledge Distillation

Jiaxi Tang, Rakesh Shivanna+5 more|arXiv (Cornell University)|Feb 10, 2020

Machine Learning and Data Classification参考文献 39被引用数 89

ひとこと要約

本論文は知識蒸留(KD)を三つの階層的効果に分解する—普遍的なラベル平滑化、ドメインクラス関係の事前知識、そして事例特異的な勾配再スケーリング—を提案し、それぞれの効果を分離・検証する部分的KD法を導入し、合成データと実データセットで広範な実証検証を行う。

ABSTRACT

Knowledge Distillation (KD) is a model-agnostic technique to improve model quality while having a fixed capacity budget. It is a commonly used technique for model compression, where a larger capacity teacher model with better quality is used to train a more compact student model with better inference efficiency. Through distillation, one hopes to benefit from student's compactness, without sacrificing too much on model quality. Despite the large success of knowledge distillation, better understanding of how it benefits student model's training dynamics remains under-explored. In this paper, we categorize teacher's knowledge into three hierarchical levels and study its effects on knowledge distillation: (1) knowledge of the `universe', where KD brings a regularization effect through label smoothing; (2) domain knowledge, where teacher injects class relationships prior to student's logit layer geometry; and (3) instance specific knowledge, where teacher rescales student model's per-instance gradients based on its measurement on the event difficulty. Using systematic analyses and extensive empirical studies on both synthetic and real-world datasets, we confirm that the aforementioned three factors play a major role in knowledge distillation. Furthermore, based on our findings, we diagnose some of the failure cases of applying KD from recent studies.

研究の動機と目的

• KDを三つの知識源に分解する：普遍的なラベル平滑化、ドメインクラス関係の事前知識、そして事例特異的な勾配再スケーリングの3つの知識源にKDを分解する。
• これらの効果が student の訓練と一般化をどのように向上させるかの理論分析を提供する。
• 各効果を分離・検証するための部分的KD手法を提案する。
• 合成データと実世界データセット上で効果を実証的に検証し、KDの失敗ケースを診断する。

提案手法

• KDをラベル平滑化と勾配再スケーリングに結びつける理論分析と、KD勾配の明示的な式を提示。
• 勾配再スケーリングとクラス関係の事前知識を分離するための部分KD法（KD-ptとKD-sim）を導入。
• 部分効果を模倣する合成教師分布を開発し、学習ダイナミクスへの影響を検証。
• CIFAR-100、ImageNet、PTBを対象とした経験的評価で、LS、KD、および部分KDバリアントを比較。
• クラス相関とトップk確率の保持（KD-topk）が蒸留性能へ与える影響を分析。

実験結果

リサーチクエスチョン

• RQ1 KDが標準的なラベル平滑化を超えて学生の学習を改善する、どのような明確なメカニズムが存在するのか？
• RQ2 普遍的、ドメイン、事例特異的な知識はKDの有効性にどう寄与するのか？
• RQ3 部分KD法を用いて各KD成分を分離・検証できるか？
• RQ4 どのようなデータ条件下でKDの成分が最も利益をもたらすか、あるいは失敗を招くか？

主な発見

• KDの利点は三つの知識レベルからくる：正則化効果（ラベル平滑化）、ドメイン知識（クラス関係がロジット幾何を形成すること）、および教師の信頼度に基づく事例特異的勾配再スケーリング。
• 部分KD法（KD-ptとKD-sim）はこれらの効果を分離でき、組み合わせた場合（KD-pt+sim）は一部データセットで標準KDの性能に近づくかそれを上回る。
• 合成データでは、クラスが無相関な場合にKD-ptが優位で、クラス相関が高まるにつれてKD-simが価値を加え、両者を組み合わせるとさらなる効果が得られる。
• CIFAR-100とImageNetでは、KDは一般にLSを超えて学生の性能を向上させ、KD-topkは最も有益なクラス関係のみを保持しノイズを減らすことで追加の向上をもたらすことが多い。
• 本研究は、クラス関係情報の喪失や真理配布の歪みによりLSがKDを妨げる場面を特定し、KDの失敗を診断する指針を提供する。