[論文レビュー] Knowledge Distillation from A Stronger Teacher

Tao Huang, Shan You+3 more|arXiv (Cornell University)|May 21, 2022

Advanced Neural Network Applications被引用数 95

ひとこと要約

DISTは、教師がより強力な場合に厳密な出力一致を緩和する相関ベースの関係蒸留を導入し、画像分類、物体検出、セマンティックセグメンテーション全般で一貫した最先端の利得を達成します。

ABSTRACT

Unlike existing knowledge distillation methods focus on the baseline settings, where the teacher models and training strategies are not that strong and competing as state-of-the-art approaches, this paper presents a method dubbed DIST to distill better from a stronger teacher. We empirically find that the discrepancy of predictions between the student and a stronger teacher may tend to be fairly severer. As a result, the exact match of predictions in KL divergence would disturb the training and make existing methods perform poorly. In this paper, we show that simply preserving the relations between the predictions of teacher and student would suffice, and propose a correlation-based loss to capture the intrinsic inter-class relations from the teacher explicitly. Besides, considering that different instances have different semantic similarities to each class, we also extend this relational match to the intra-class level. Our method is simple yet practical, and extensive experiments demonstrate that it adapts well to various architectures, model sizes and training strategies, and can achieve state-of-the-art performance consistently on image classification, object detection, and semantic segmentation tasks. Code is available at: https://github.com/hunto/DIST_KD .

研究の動機と目的

• なぜより強力な教師が標準のKDを不安定にさせるのか、そしてそれにどう対処するかを調査する。
• 教師と学生の関係を厳密な出力ではなく関係を維持する相関ベースの蒸留損失を提案する。
• 関係蒸留をクラス内の関係にも拡張して、インスタンスレベルの類似性を捉える。
• 多様なアーキテクチャ、戦略、ビジョンタスク（分類、検出、セグメンテーション）に対して有効性を示す。

提案手法

• KL発散のマッチングを、ピアソン相関を介してクラス間の関係を維持する関係ベースの損失に置き換える。
• L_inter を、バッチ全体で教師と学生の予測ベクトル間の平均ピアソン距離として定義する。
• L_intra を、教師と学生の予測行列を列ごとに比較してクラス間の平均ピアソン距離として定義する。
• L_tr = alpha * L_cls + beta * L_inter + gamma * L_intra を最適化する。
• 厳密な確率の一致ではなく相対的な関係を一致させることが、より強力な教師とトレーニング戦略下で頑健な蒸留を生み出すことを示す。

実験結果

リサーチクエスチョン

• RQ1 より強力な教師は標準的な知識蒸留の性能にどのような影響を与えるか。
• RQ2 教師と学生の予測間の関係を保存すること（厳密な値ではなく）は、教師がより強力な場合にKDを改善できるか。
• RQ3 クラス間およびクラス内の関係蒸留を個別および結合で実施した場合の影響は何か。
• RQ4 提案されたDIST損失は、さまざまなアーキテクチャとトレーニング戦略で、画像分類、物体検出、セマンティックセグメンテーションの全領域で効果的か。

主な発見

• DISTは、ImageNetで複数の教師–学生ペアにおいて、標準KDやいくつかの最先端KD手法より優れている（例：ResNet-18学生 vs ResNet-34教師：DISTでTop-1 72.07%、KDで69.76%）。
• より大きな教師ではDISTの利得が大きくなる（例：ResNet-18 with ResNet-34：基準より+2.31、KDより+0.86；ResNet-18 with ResNet-152：KDより+1.93）。
• より強力なSwin-L教師を用いたSwin-TでTop-1 82.3%、従来のKDを1%上回る。
• 強力なトレーニング戦略の下でCIFAR-100およびImageNetの性能を一貫して改善し、COCO物体検出およびCityscapesセマンティックセグメンテーションでも競争力のある結果を出す。
• アブレーション研究は、クラス間およびクラス内の関係の両方が利得に寄与し、組み合わせが最良の性能を提供することを示す。
• KD損失のみでの訓練（真のラベルなし）でもDISTは改善をもたらし、関係信号の蒸留が効果的であることを示す。