[論文レビュー] Distilling a Powerful Student Model via Online Knowledge Distillation

Shaojie Li, Mingbao Lin+5 more|arXiv (Cornell University)|Mar 26, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、複数の学生モデルの特徴を統合し、自己蒸留を適用することで、推論コストを増加させずに学生モデルの性能を向上させる、新しいオンライン知識蒸留フレームワークであるFFSDを提案する。特徴統合と多様性向上戦略を備えたリーダー学生アーキテクチャを導入し、推論コストを増やさずにCIFAR-100およびImageNetで最先端の精度を達成した。

ABSTRACT

Existing online knowledge distillation approaches either adopt the student with the best performance or construct an ensemble model for better holistic performance. However, the former strategy ignores other students' information, while the latter increases the computational complexity during deployment. In this paper, we propose a novel method for online knowledge distillation, termed FFSD, which comprises two key components: Feature Fusion and Self-Distillation, towards solving the above problems in a unified framework. Different from previous works, where all students are treated equally, the proposed FFSD splits them into a leader student and a common student set. Then, the feature fusion module converts the concatenation of feature maps from all common students into a fused feature map. The fused representation is used to assist the learning of the leader student. To enable the leader student to absorb more diverse information, we design an enhancement strategy to increase the diversity among students. Besides, a self-distillation module is adopted to convert the feature map of deeper layers into a shallower one. Then, the shallower layers are encouraged to mimic the transformed feature maps of the deeper layers, which helps the students to generalize better. After training, we simply adopt the leader student, which achieves superior performance, over the common students, without increasing the storage or inference cost. Extensive experiments on CIFAR-100 and ImageNet demonstrate the superiority of our FFSD over existing works. The code is available at https://github.com/SJLeo/FFSD.

研究の動機と目的

• 既存のオンライン知識蒸留手法が大多数の学生情報を見過ごすか、導入の複雑さを増すという限界を是正すること。
• 協働的な学生訓練における注意の不一致と知識伝達の制限を克服すること。
• 複数のモデルを保存・評価せずとも、1つの高性能な学生モデルを選別して導入可能にする仕組みを実現すること。
• 構造的な蒸留メカニズムを通じて、訓練中の学生モデルの一般化性能と特徴の多様性を向上させること。

提案手法

• 共通学生セットとリーダー学生を導入し、共通学生同士が相互学習を行うことで知識共有を促進する。
• すべての共通学生の特徴マップを圧縮・統合する自動符号化機械に似た特徴統合モジュールを設計する。
• 統合された特徴マップをリーダー学生に蒸留することで、共通学生セットの集団的知識を活用した学習を強化する。
• 代表的多様性を向上させる戦略を導入し、特徴マップの重複を防ぎ、学生間の多様性を確保する。
• 深層の特徴マップを浅層に変換する自己蒸留モジュールを実装し、浅層がそれらを模倣することで注意の整合性を向上させる。
• 統合された特徴マップと自己蒸留された表現の両方を用いてリーダー学生を訓練することで、頑健で一般化された特徴学習を確保する。

(a) Traditional Knowledge Distillation

実験結果

リサーチクエスチョン

• RQ1 複数の学生からの情報を効果的に活用することで、導入コストを増加させずに知識蒸留の性能を向上させうる統合フレームワークは存在するか？
• RQ2 複数の学生モデルからの特徴統合は、1つのリーダー学生の性能をどのように向上させるか？
• RQ3 自己蒸留は、学生モデルにおける注意の整合性と一般化性能をどの程度向上させるか？
• RQ4 特徴統合と自己蒸留を組み合わせることで、既存のオンライン蒸留手法を上回る性能が得られるか？
• RQ5 提案手法は、低コストな推論を維持しながら最先端の精度を達成できるか？

主な発見

• FFSDはResNet-32を用いてCIFAR-100で74.85%のトップ-1精度を達成し、DMLやONEを含む既存手法を上回った。
• 特徴統合モジュールを除去すると精度は74.06%に低下し、知識集約におけるその重要性が示された。
• 自己蒸留により注意の整合性が向上し、可視化された特徴マップから中層と上層の活性化がより良好に一致していることが確認された。
• 自己蒸留と特徴統合の組み合わせにより74.85%の精度を達成し、共通学生にのみ自己蒸留を適用した場合（74.71%）やリーダーにのみ適用した場合（74.04%）を上回った。
• WRN-16-2を用いた場合、FFSDはCIFAR-100で75.81%の精度を達成し、より大きな教師モデルを用いたAT（73.71%）を上回ったが、FLOPsと学習時間は少なく抑えられた。
• CIFAR-100におけるFFSDの学習時間は4.4時間であり、特徴統合と自己蒸留のコンponentを追加しても他の手法と同等の水準を維持した。

(b) Mutual Learning