[論文レビュー] NormKD: Normalized Logits for Knowledge Distillation

Zhihao Chi, Zhengkai Tu+5 more|arXiv (Cornell University)|Aug 1, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、各サンプルのログティスティック分布の標準偏差に基づいて温度をカスタマイズする、シンプルでありながら効果的な知識蒸留手法NormKDを提案する。これにより、よりバランスの取れたソフトラベルの生成が可能になる。ログティスティックをサンプルごとに正規化した後、ソフトマックスを適用することで、従来のKDよりも顕著に性能向上が見られ、一部の特徴ベース手法をも凌駕する。計算コストの増加は最小限に抑えられる。

ABSTRACT

Logit based knowledge distillation gets less attention in recent years since feature based methods perform better in most cases. Nevertheless, we find it still has untapped potential when we re-investigate the temperature, which is a crucial hyper-parameter to soften the logit outputs. For most of the previous works, it was set as a fixed value for the entire distillation procedure. However, as the logits from different samples are distributed quite variously, it is not feasible to soften all of them to an equal degree by just a single temperature, which may make the previous work transfer the knowledge of each sample inadequately. In this paper, we restudy the hyper-parameter temperature and figure out its incapability to distill the knowledge from each sample sufficiently when it is a single value. To address this issue, we propose Normalized Knowledge Distillation (NormKD), with the purpose of customizing the temperature for each sample according to the characteristic of the sample's logit distribution. Compared to the vanilla KD, NormKD barely has extra computation or storage cost but performs significantly better on CIRAR-100 and ImageNet for image classification. Furthermore, NormKD can be easily applied to the other logit based methods and achieve better performance which can be closer to or even better than the feature based method.

研究の動機と目的

• 固定温度の知識蒸留における限界、すなわち、予測信頼度分布が異なるサンプルにおいて、適切にログティスティックを緩和できない点を是正すること。
• 各サンプルのログティスティック分布の特性に基づいて温度を動的に調整することで、知識伝達を向上させること。
• 追加の計算コストやストレージコストを著しく増加させることなく、ログティスティックベースの蒸留を強化する手法を開発すること。
• 適切に最適化された場合、ログティスティックベースの蒸留が特徴ベース手法と同等またはそれ以上の性能を達成できることを示すこと。

提案手法

• 各サンプルに対して、教師モデルのログティスティックの標準偏差を計算し、それをログティスティックを緩和するための温度として使用する。
• 標準偏差で正規化するため、各サンプルのログティスティック分布が類似した形状をとるよう保証され、より一貫性があり効果的な知識伝達が可能になる。
• この正規化により、すべてのサンプルが類似したログティスティック分布を持つようになり、より一貫性があり効果的な知識伝達が可能になる。
• 本手法は、任意のログティスティックベースの蒸留フレームワークと互換性があり、DKDなどの既存手法ともスムーズに統合可能である。
• 温度はグローバルなハイパーパrameterではなく、サンプルごとに動的に決定されるため、多様な予測信頼度レベルにわたるソフトラベル品質の向上が図れる。
• 計算コストの増加はほとんどない。標準KD損失計算の前段階に、サンプルごとの正規化ステップを追加するのみである。

実験結果

リサーチクエスチョン

• RQ1 非常に変動の大きい予測信頼度分布を示すサンプル群に対して、1つの固定温度で十分にログティスティックを緩和できるか？
• RQ2 ログティスティック分布の特性に基づいて、サンプルごとに温度をカスタマイズすることで、知識蒸留の性能が向上するか？
• RQ3 従来の知識蒸留に簡単かつ低コストな修正を加えることで、最先端の特徴ベース手法と同等またはそれ以上の性能を達成できるか？
• RQ4 サンプルごとの温度適応が、表現空間における学生モデルと教師モデルのログティスティックの整合性にどのように影響するか？

主な発見

• ResNet-32×4を教師、ResNet-8×4を学生として使用したCIFAR-100では、NormKDがトップ-1精度76.57%を達成し、従来のKD（73.33%）およびDKD（76.32%）を上回った。
• ImageNetでは、ResNet-50を教師、MobileNet-V1を学生として使用した場合、NormKDは従来のKDよりも0.3%、DKDよりも0.2%高い精度を達成した。
• DKDと組み合わせた場合、NormKDはさらなる性能向上を示し、本手法が既存のログティスティックベース手法の性能を強化できることを示している。
• アブレーションスタディの結果、標準偏差に基づく$T_{norm}$が、$V_{max}$ や $V_{max}-V_{min}$ といった他の温度バリエーションと比較して最も優れた性能を示した。
• NormKDのバッチあたりの学習時間は、従来のKD（7.1ms）とほぼ同等（7.2ms）であり、追加パラメータも存在しないため、効率性が確認された。
• t-SNEおよび相関行列の可視化結果から、NormKDは特に正規化後、学生モデルと教師モデルのログティスティックの整合性が向上しており、知識伝達の改善が示された。