[論文レビュー] Feature Matters: A Stage-by-Stage Approach for Knowledge Transfer.

Mengya Gao, Yujun Shen+3 more|arXiv (Cornell University)|Dec 5, 2018

Advanced Neural Network Applications参考文献 21被引用数 3

ひとこと要約

本稿では、教師モデルの特徴表現を学生モデルに最初に転送した後、タスク固有のヘッドのみをファインチューニングする2段階のトレーニング手法である段階的知識蒸留（SSKD）を提案する。特徴知識の転送とヘッド学習を分離することで、手動による損失重み調整の必要性を排除し、CIFAR-100、ImageNet、IJB-A、COCOベンチマークで最先端の性能を達成する。

ABSTRACT

Knowledge Distillation (KD) aims at improving the performance of a low-capacity student model by inheriting knowledge from a high-capacity teacher model. Previous KD methods typically train a student by minimizing a task-related loss and the KD loss simultaneously, using a pre-defined loss weight to balance these two terms. In this work, we propose to first transfer the backbone knowledge from a teacher to the student, and then only learn the task-head of the student network. Such a decomposition of the training process circumvents the need of choosing an appropriate loss weight, which is often difficult in practice, and thus makes it easier to apply to different datasets and tasks. Importantly, the decomposition permits the core of our method, Stage-by-Stage Knowledge Distillation (SSKD), which facilitates progressive feature mimicking from teacher to student. Extensive experiments on CIFAR-100 and ImageNet suggest that SSKD significantly narrows down the performance gap between student and teacher, outperforming state-of-the-art approaches. We also demonstrate the generalization ability of SSKD on other challenging benchmarks, including face recognition on IJB-A dataset as well as object detection on COCO dataset.

研究の動機と目的

• 知識蒸留におけるハイパーパramータ感受性、特にタスク損失とKD損失のバランスをとるのが難しいという課題に対処すること。
• 教師から学生への段階的・構造的な特徴模倣を可能にすることで、学生モデルの性能を向上させること。
• 損失重み調整の必要性を排除するため、トレーニング戦略を分離することで知識蒸留における手動損失重みの必要性をなくすこと。
• 画像分類、顔認識、オブジェクト検出を含む多様なビジョンタスクへの一般化を示すこと。

提案手法

• 知識蒸留を2つの明確な段階に分解する：最初に、学生のバックボーンを教師の特徴と一致させる学習を行い、2番目に、タスク固有のヘッドのみをファインチューニングする。
• 最初の段階では、特徴マップのマッチングや対照的損失などの特徴レベルの蒸留損失を用いて、学生の特徴表現を教師のものと一致させる。
• 2番目の段階では、タスク固有の損失を用いた標準的なトレーニングを実施し、特徴抽出器は固定されたまま学生のヘッドのみを更新する。
• タスク損失とKD損失のエンドツーエンド同時最適化を回避することで、損失重みハイパーパramータの必要性がなくなる。
• 段階的特徴模倣を可能にし、学生が教師から階層的表現を段階的に学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留を明確な段階に分離することで、損失重みのチューニングを必要とせずにモデル性能を向上させることができるか？
• RQ2 段階的トレーニングは、異なるデータセットにおける学生モデルの特徴表現学習にどのように影響するか？
• RQ3 提案手法は、画像分類を越えて、多様なビジョンタスクにどの程度一般化可能か？
• RQ4 段階的特徴模倣は、統合学習と比較して、学生と教師の特徴の整合性をより良くもたらすか？

主な発見

• SSKDはCIFAR-100およびImageNetにおいて、学生と教師モデルの性能差を顕著に縮小し、既存の最先端手法を上回る性能を達成する。
• パラメータ数が教師よりも著しく少ない学生モデルを用いても、ImageNetで優れた精度を達成する。
• IJB-A顔認識ベンチマークでは、SSKDが標準的なKDベースラインを上回る一般化性能を示す。
• COCOにおけるオブジェクト検出では、SSKDが競争力ある結果を達成し、分類タスクを超えた有効性を確認する。