[論文レビュー] Balanced Knowledge Distillation for Long-tailed Learning

Shaoyu Zhang, Chen Chen+2 more|arXiv (Cornell University)|Apr 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 10

ひとこと要約

本論文は、インスタンスバランス交差エントロピー損失とクラスバランスド知識蒸留損失を組み合わせることで、長尾学習における表現学習とテールクラス最適化の分離を実現する、Balanced Knowledge Distillation (BKD) という新しい蒸留フレームワークを提案する。BKDは、ImageNet-LT、Places-LT、iNaturalist 2018 において、従来の教師モデルや最先端手法を上回る性能を達成し、フェイシュットクラスで最大4.7%の向上を示した。

ABSTRACT

Deep models trained on long-tailed datasets exhibit unsatisfactory performance on tail classes. Existing methods usually modify the classification loss to increase the learning focus on tail classes, which unexpectedly sacrifice the performance on head classes. In fact, this scheme leads to a contradiction between the two goals of long-tailed learning, i.e., learning generalizable representations and facilitating learning for tail classes. In this work, we explore knowledge distillation in long-tailed scenarios and propose a novel distillation framework, named Balanced Knowledge Distillation (BKD), to disentangle the contradiction between the two goals and achieve both simultaneously. Specifically, given a vanilla teacher model, we train the student model by minimizing the combination of an instance-balanced classification loss and a class-balanced distillation loss. The former benefits from the sample diversity and learns generalizable representation, while the latter considers the class priors and facilitates learning mainly for tail classes. The student model trained with BKD obtains significant performance gain even compared with its teacher model. We conduct extensive experiments on several long-tailed benchmark datasets and demonstrate that the proposed BKD is an effective knowledge distillation framework in long-tailed scenarios, as well as a new state-of-the-art method for long-tailed learning. Code is available at https://github.com/EricZsy/BalancedKnowledgeDistillation .

研究の動機と目的

• 長尾学習における、汎用的表現の学習とテールクラスにおける性能向上という、本質的な矛盾を解消すること。
• テールクラスに過剰に注目することで表現学習を損なうリウェートリング戦略の限界を克服すること。
• 不均衡データにおける表現学習とテールクラス支援の分離を可能とする知識蒸留の可能性を検討すること。
• 一般化性能とテールクラス性能の両方を同時に向上させる蒸留フレームワークを開発すること。

提案手法

• 不均衡データ上で標準的な交差エントロピー損失を用いて、ヴァナイルな教師モデルを訓練する。
• 学生モデルを、一般化可能な表現学習を目的としたインスタンスバランス交差エントロピー損失と、テールクラスに注目したクラスバランスド蒸留損失の組み合わせによる損失関数で訓練する。
• ソフトラベルの安定化と知識伝達の向上のため、蒸留に温度パrameter T=2 を使用する。
• 学生モデルの訓練を、表現学習（インスタンスバランス交差エントロピーを介して）とクラス認識の知識伝達（クラスバランスドKDを介して）という2つの明確な目的に分離する。
• CIFAR-10/100、ImageNet-LT、Places-LT、iNaturalist 2018 といった長尾データセットに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 長尾学習における、ヘッドクラスとテールクラスの性能のトレードオフに及ぼす分類損失のリウェートリングの影響は何か？
• RQ2 知識蒸留を長尾データに効果的に適応することで、表現学習とテールクラス性能の両方を同時に向上させられるか？
• RQ3 表現学習とクラス認識の知識伝達を分離することで、統合最適化よりも優れた性能が得られるか？
• RQ4 長尾状況における蒸留の最適な温度設定は何か？

主な発見

• ρ=100 の長尾CIFAR-10では、BKDが教師モデルに対して10ポイントの精度向上を達成した。
• iNaturalist 2018 では、BKDが最高の全体的なトップ-1精度を達成し、Many-、Medium-、Few-shot サブセット間の性能差を縮小した。
• Places-LT では、BKDがフェイシュットサブセットで最先端手法を4.7%以上上回る精度を達成した。
• ImageNet-LT では、複数の教師モデルや複雑なスケジューリングを用いずに、LFME よりも大幅に優れた性能を示した。
• BKDとcRT（分類器再訓練）の組み合わせは、ImageNet-LT でさらに性能向上を示し、相乗効果があることを示した。
• すべての長尾CIFARデータセットにおいて、蒸留の最適温度は T=2 であると特定された。