[論文レビュー] Improved Feature Distillation via Projector Ensemble

Yudong Chen, Sen Wang+4 more|arXiv (Cornell University)|Oct 27, 2022

Industrial Vision Systems and Defect Detection被引用数 14

ひとこと要約

本稿では、知識蒸留における特徴蒸留を向上させるプロジェクターエンsemble手法を提案する。特徴次元が同一であっても、プロジェクターを導入することで教師の特徴空間への過学習が軽減され、学生モデルの性能が向上することを示している。異なるランダム初期化を持つ複数のプロジェクターをエントランスすることで、特徴の一般化性能が向上し、ImageNetおよびCIFAR-100で多様な教師-学生ペアに対して最先端の精度を達成する。

ABSTRACT

In knowledge distillation, previous feature distillation methods mainly focus on the design of loss functions and the selection of the distilled layers, while the effect of the feature projector between the student and the teacher remains under-explored. In this paper, we first discuss a plausible mechanism of the projector with empirical evidence and then propose a new feature distillation method based on a projector ensemble for further performance improvement. We observe that the student network benefits from a projector even if the feature dimensions of the student and the teacher are the same. Training a student backbone without a projector can be considered as a multi-task learning process, namely achieving discriminative feature extraction for classification and feature matching between the student and the teacher for distillation at the same time. We hypothesize and empirically verify that without a projector, the student network tends to overfit the teacher's feature distributions despite having different architecture and weights initialization. This leads to degradation on the quality of the student's deep features that are eventually used in classification. Adding a projector, on the other hand, disentangles the two learning tasks and helps the student network to focus better on the main feature extraction task while still being able to utilize teacher features as a guidance through the projector. Motivated by the positive effect of the projector in feature distillation, we propose an ensemble of projectors to further improve the quality of student features. Experimental results on different datasets with a series of teacher-student pairs illustrate the effectiveness of the proposed method.

研究の動機と目的

• 特徴蒸留が教師と学生の特徴次元が同一であっても向上する理由を解明し、プロジェクターは次元不一致のためだけに必要なのではなく、その背後にあるメカニズムを検証すること。
• 学生ネットワークが同時に分類と教師の特徴マッチングの最適化を追求する際、教師の特徴分布への過学習が生じる問題を解決すること。
• 異なる特徴変換を提供するプロジェクターのエントランスを導入することで、一般化性能を向上させ、蒸留性能を改善すること。
• 複雑な補助ネットワークを追加せず、訓練コストを著しく増加させることなく、最先端の特徴蒸留手法を上回る単純で効果的な手法を開発すること。

提案手法

• 特徴次元が同一であっても、学生と教師の特徴表現の間にプロジェクターを導入することで、分類と特徴マッチングの目的を分離する。
• 異なるランダム初期化を持つ複数のプロジェクターをエントランスし、多様な変換された特徴を生成することで、アンサンブル学習の原則を活用し、より高いロバスト性を実現する。
• 学生ネットワークは、分類用の交差エントロピー損失と、特徴蒸留用の方向整合損失の組み合わせにより訓練される。
• 方向整合損失は、射影後の学生と教師の特徴間の角度差を最小化することで、同一次元を必要とせずに構造的類似性を促進する。
• フレームワークはプラグアンドプレイであり、学生・教師アーキテクチャの変更なしに、プロジェクターの追加のみで実装可能。
• 本手法は、ResNet、MobileNet、DenseNetの組み合わせを含む複数のデータセットおよび教師-学生ペアで評価されている。

実験結果

リサーチクエスチョン

• RQ1 なぜ教師と学生の特徴次元が同一であってもプロジェクターを追加することで蒸留性能が向上するのか？
• RQ2 プロジェクターが存在しない場合、教師の特徴分布への過学習がどのように生じるのか、そのメカニズムは何か？
• RQ3 異なる初期化を持つプロジェクターのエントランスが、さらに特徴の一般化性能と蒸留性能を向上させるか？
• RQ4 既存の最先端の特徴蒸留手法と比較して、提案手法の性能と効率性はどの程度か？
• RQ5 プロジェクターエンセムで方向整合損失のみを用いることで、計算複雑性を低減しながらも高い性能を維持できるか？

主な発見

• 本手法は、複数の教師-学生ペアにおいてImageNetで最先端のトップ-1精度を達成し、CRD、SRRL、CID、AFD、KRなどの手法を上回っている。
• ResNet34-MobileNetの教師-学生ペアでは、トップ-1精度が71.94%に達し、AFD（71.38%）とKR（71.61%）を上回っている。
• ResNet50-MobileNetペアでは、トップ-1精度が73.16%に達し、KRの72.56%とAFDの72.56%（一部報告なし）を上回っているが、トレンドは一貫している。
• ImageNetの訓練曲線から、他の蒸留手法よりも収束が速いことが示され、最適化ダイナミクスの向上が裏付けられている。
• 複数のプロジェクターを用いても、1エポックあたりの訓練時間（2,995秒）とGPUメモリ使用量（11,523 MB）は、KDやSPといった単純な手法と同等であり、計算コストの増加は小さい。
• ResNet34、ResNet50、DenseNet201を教師とする多様なアーキテクチャにおいて一貫して性能向上が見られ、広範な適用可能性を示している。