[論文レビュー] Teacher's pet: understanding and mitigating biases in distillation

Michał Łukasik, Srinadh Bhojanapalli+2 more|arXiv (Cornell University)|Jun 19, 2021

Machine Learning and Data Classification参考文献 43被引用数 5

ひとこと要約

本論文は、知識蒸留が、特にレアクラスにおいて、教師モデルが自らの誤りを伝搬・拡大することにより、代表されないデータサブグループでの性能を低下させることを特定した。これを是正するため、著者らはAdaAlphaおよびAdaMarginを提案する。これらは、信頼性の低いサブグループにおける教師の影響を軽減するため、クラス別に適応的な混合重みとマージンを適用する。これにより、全体の性能を損なわず、サブグループの精度が向上する。

ABSTRACT

Knowledge distillation is widely used as a means of improving the performance of a relatively simple student model using the predictions from a complex teacher model. Several works have shown that distillation significantly boosts the student's overall performance; however, are these gains uniform across all data subgroups? In this paper, we show that distillation can harm performance on certain subgroups, e.g., classes with few associated samples. We trace this behaviour to errors made by the teacher distribution being transferred to and amplified by the student model. To mitigate this problem, we present techniques which soften the teacher influence for subgroups where it is less reliable. Experiments on several image classification benchmarks show that these modifications of distillation maintain boost in overall accuracy, while additionally ensuring improvement in subgroup performance.

研究の動機と目的

• 知識蒸留が、特に代表されないクラスを含むすべてのデータサブグループにおいて、均等に性能を向上させるかどうかを調査すること。
• 蒸留の過程で、まれまたは低頻度のクラスで性能が低下する根本的原因を同定すること。
• 教師の影響を信頼性の低いサブグループに対して適応的に低減することで、蒸留に起因するバイアスを是正する手法を開発すること。
• 全体の平均ではなく、すべてのクラスにおいて精度を向上させることを保証しつつ、モデルの性能を損なわないこと。

提案手法

• 教師の予測確率とワンホットラベルとの間で、クラス別に適応的な混合重みを適用するAdaAlphaを提案。これは、教師が誤った予測に対して過信しているクラスにおける教師の影響を低減する。
• 特に教師が誤予測に対して高い自信を持つクラスに対して、クラス別マージンを適用するAdaMarginを導入。
• 真のラベルにおけるクラス固有の信頼度スコアを用いて、教師の信頼性に基づき、どのサブグループの教師影響を低減する必要があるかを特定する。
• 温度に基づくソフトニング機構を用い、クラス別に動的に蒸留損失を調整することで、末尾クラスにおける一般化性能を向上させる。
• CIFAR-100-LT や ImageNet などの長尾ベンチマークで評価を行い、サブグループおよび全体の精度を比較する。
• アブレーションスタディを実施し、正確なクラス別重み付けの必要性を検証。ランダムシャッフルや低頻度クラスからの蒸留信号のグローバル除去は、提案手法に劣ることが判明。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、すべてのデータサブグループにおいて性能を均等に向上させるのか、それとも代表されないクラスに特に悪影響を及ぼすのか？
• RQ2 教師モデルが誤った予測に対して高い自信を持つ場合、特にレアクラスで性能が低下する原因は何か？
• RQ3 サブグループごとの蒸留信号の適応的重み付けは、バイアスを是正し、クラス間の公平性を向上させることができるか？
• RQ4 提案手法AdaAlphaおよびAdaMarginは、全体の精度を維持しつつ、サブグループの性能を向上させることができるか？

主な発見

• CIFAR-100-LTでは、全体の精度が1%向上する一方で、最悪10クラスの精度が約2%絶対的に低下しており、蒸留が性能を損なう。
• ImageNetでは、最悪10クラスの平均精度が約3%絶対的に低下しており、顕著なサブグループの性能劣化が確認された。
• AdaAlphaは、標準的な蒸留と比較して、CIFAR-100-LTで最悪クラスの精度を3ポイント以上向上させた。一方で、平均精度は維持またはわずかに向上した。
• AdaAlphaはCIFAR-100-LTで75.52%の平均精度を達成し、ヴァニラ蒸留およびZhouら（2021）を含む他のベースラインを上回った。
• AdaMarginはマージンとロス分布を平坦化し、末尾クラスにおける信頼度を向上させ、他の手法が失敗する1つのバケットでも正のマージンを達成した。
• アブレーションスタディにより、正確なクラス別重み付けが不可欠であることが確認された。ランダムシャッフルや低頻度クラスからの蒸留信号の除去は、提案手法に劣る性能を示した。