[論文レビュー] Asymmetric Temperature Scaling Makes Larger Networks Teach Well Again

Xinchun Li, Wen-Shu Fan+5 more|arXiv (Cornell University)|Oct 10, 2022

Neural Networks and Applications被引用数 12

ひとこと要約

本稿では、知識蒸留の過程で正例と誤りクラスのログ確信度に異なる温度を適用する、単純ながら効果的な手法である非対称温度スケーリング（ATS）を提案する。この手法により、過信しすぎた大規模な教師モデルが、誤りクラスの確率の識別性を高め、学生モデルに効果的に学習を教えることができる。ATSは、誤りクラスの確率の分散を向上させることで、大規模な教師モデルが再び効果的に学習を教えることを可能にし、複雑なアーキテクチャーや訓練スキームを必要とせず、最先端の手法を上回る性能を達成する。

ABSTRACT

Knowledge Distillation (KD) aims at transferring the knowledge of a well-performed neural network (the {\it teacher}) to a weaker one (the {\it student}). A peculiar phenomenon is that a more accurate model doesn't necessarily teach better, and temperature adjustment can neither alleviate the mismatched capacity. To explain this, we decompose the efficacy of KD into three parts: {\it correct guidance}, {\it smooth regularization}, and {\it class discriminability}. The last term describes the distinctness of {\it wrong class probabilities} that the teacher provides in KD. Complex teachers tend to be over-confident and traditional temperature scaling limits the efficacy of {\it class discriminability}, resulting in less discriminative wrong class probabilities. Therefore, we propose {\it Asymmetric Temperature Scaling (ATS)}, which separately applies a higher/lower temperature to the correct/wrong class. ATS enlarges the variance of wrong class probabilities in the teacher's label and makes the students grasp the absolute affinities of wrong classes to the target class as discriminative as possible. Both theoretical analysis and extensive experimental results demonstrate the effectiveness of ATS. The demo developed in Mindspore is available at https://gitee.com/lxcnju/ats-mindspore and will be available at https://gitee.com/mindspore/models/tree/master/research/cv/ats.

研究の動機と目的

• 大規模で高精度な教師モデルが、知識蒸留においてなぜ効果的に学生に学習を教えることができないかを調査すること。
• 特に、誤りクラスの確率の識別性が低下することにより、大規模モデルの蒸留性能が劣化する根本的原因を特定すること。
• アーキテクチャーや訓練の複雑さを伴わずに、大規模モデルの教育能力を回復させる単純で効果的な手法を開発すること。
• 従来の温度スケーリングが、大規模教師モデルの潜在能力を制限する理由が、誤りクラス確率の分散が減少するためであることを示すこと。

提案手法

• 本稿では、知識蒸留を3つの要因に分解する：正例のガイドライン、滑らかさの正則化、およびクラスの識別性（ソフトマックス後の誤りクラス確率の分散で測定）。
• 誤りクラスの確率の分散を高めるために、正例クラスのログ確信度に高い温度、誤りクラスに低い温度を適用する非対称温度スケーリング（ATS）を導入する。
• ATSは、正例クラスに $\tau_1$、誤りクラスに $\tau_2$ を別々に適用する形で定式化され、$\tau_1 > \tau_2$ となるように設定することで識別性を向上させる。
• 理論的に、一様な温度スケーリングは、大規模で過信しすぎた教師モデルの誤りクラススコアに本来低い分散があるため、識別力が低下することを示している。
• CIFAR-100、TinyImageNet、CUB、Dogsの4つのデータセットを用いて、さまざまな学生-教師設定におけるATSの有効性を検証する広範な実験を実施した。
• 実装はMindsporeを用い、デモとして公開されており、容易な統合と再現性を可能としている。

実験結果

リサーチクエスチョン

• RQ1 大規模で高精度な教師モデルが、優れた性能を示すにもかかわらず、なぜ学生に効果的に学習を教えることができないのか？
• RQ2 誤りクラス確率の識別性が、知識蒸留の効果に果たす役割は何か？
• RQ3 従来の温度スケーリングは、大規模モデルの教育潜在能力を完全に解き放てるのか？
• RQ4 非対称温度スケーリングのような単純でパラメータフリーな修正によって、大規模モデルの教育能力を回復させることは可能か？

主な発見

• 一様な温度スケーリングを用いた従来の知識蒸留では、教師モデルの過信が誤りクラス確率の分散を低下させるため、大規模モデルの教育潜在能力を十分に活用できない。
• ATSは誤りクラス確率の識別性を高めることで、学生モデルの性能を顕著に向上させ、大規模教師モデルが再び効果的に学習を教えることができる。
• CIFAR-100では、ATSにより大規模教師モデルを用いた標準KDの学生精度69.21%が、小規模教師モデルを用いたST-KDで70.32%に向上し、アンサンブル予測を用いる際にはResKDをほぼ1%上回った。
• TinyImageNetでは、大規模教師KDで58.89%の精度を達成したが、ATSを適用したST-KDでは59.77%に向上し、ESKD、TAKD、SCKD、ResKDを含むすべての最先端手法を上回った。
• アブレーションスタディの結果、$\tau_1 > \tau_2$ で、特に $\tau_2 \in [\tau_1 - 2, \tau_1 - 1]$ の範囲を設定すると、データセットやハイパーパrameter設定にかかわらず最適な性能が得られることが確認された。
• ATSは、さまざまな損失重み付け（$\lambda$）の設定に対しても一貫した向上を示し、ハイパーパrameterの変動に強く、実用性と信頼性の高さを示している。