[論文レビュー] Collaborative Teacher-Student Learning via Multiple Knowledge Transfer

Liyuan Sun, Jianping Gou+3 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Neural Network Applications参考文献 49被引用数 7

ひとこと要約

本稿では、自己蒸留とオンライン蒸留を統合することで、同伴の学生ネットワーク間で応答ベースおよび関係ベースの知識を同時に転送する統合的フレームワークである、複数の知識転送を伴う協調的教師-学生学習（CTSL-MKT）を提案する。この手法により、双方向的かつ協調的な学習を可能にし、インスタンスの一貫性と相関の一貫性を向上させることで、従来の知識蒸留手法を著しく上回る最先端の性能を画像分類ベンチマークで達成する。

ABSTRACT

Knowledge distillation (KD), as an efficient and effective model compression technique, has been receiving considerable attention in deep learning. The key to its success is to transfer knowledge from a large teacher network to a small student one. However, most of the existing knowledge distillation methods consider only one type of knowledge learned from either instance features or instance relations via a specific distillation strategy in teacher-student learning. There are few works that explore the idea of transferring different types of knowledge with different distillation strategies in a unified framework. Moreover, the frequently used offline distillation suffers from a limited learning capacity due to the fixed teacher-student architecture. In this paper we propose a collaborative teacher-student learning via multiple knowledge transfer (CTSL-MKT) that prompts both self-learning and collaborative learning. It allows multiple students learn knowledge from both individual instances and instance relations in a collaborative way. While learning from themselves with self-distillation, they can also guide each other via online distillation. The experiments and ablation studies on four image datasets demonstrate that the proposed CTSL-MKT significantly outperforms the state-of-the-art KD methods.

研究の動機と目的

• 既存の知識蒸留手法が単一の知識タイプと固定された教師-学生アーキテクチャに依存するという制限に対処すること。
• 教師と学生ネットワークの容量ギャップが固定されているため生じるオフライン蒸留における性能低下を克服すること。
• 同伴の学生ネットワーク間で、応答ベースおよび関係ベースの複数の知識タイプを、複数の蒸留戦略を用いて同時に転送する協調学習を可能にすること。
• 統合的かつエンドツーエンドの訓練フレームワークで自己蒸留とオンライン蒸留を統合することで、モデル圧縮性能を向上させること。

提案手法

• 複数の学生ネットワークがオンライン蒸留を通じて協調的に学習する同伴ネットワークアーキテクチャを採用し、それらの間で双方向の知識転送を可能にする。
• 各同伴ネットワーク内で自己蒸留を適用し、自身の出力から知識を転送することで、内部の一貫性を向上させ、過学習を軽減する。
• オンライン蒸留により、応答ベースの知識（例：ソフトログティス）と関係ベースの知識（例：特徴量の相関）を同伴ネットワーク間で転送する。
• さまざまな同伴ネットワークアーキテクチャをサポートしており、異なるモデルサイズや構造への柔軟な展開を可能にする。
• 応答ベース、関係ベース、自己蒸留の各損失を統合した統一損失関数により、複数の知識タイプを統合する。
• 訓練はエンドツーエンドであり、大規模な教師ネットワークの事前学習を必要とせず、オフライン蒸留の容量ギャップ問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 自己蒸留とオンライン蒸留を組み合わせることで、単一戦略手法を上回る知識蒸留性能が達成可能か？
• RQ2 応答ベースおよび関係ベースの複数の知識タイプを同時に転送することで、学生モデルの精度が向上するか？
• RQ3 同伴ネットワーク間の協調学習が、モデルの一般化性能および一貫性にどのように影響するか？
• RQ4 自己蒸留は、同伴ネットワークにおける出力の多様性によって引き起こされる性能低下をどの程度緩和できるか？
• RQ5 提案されたフレームワークは、事前学習済みの大規模教師を必要とせずに、多様なネットワークアーキテクチャで優れた性能を達成できるか？

主な発見

• 自己蒸留とオンライン蒸留を複数の知識タイプにわたって統合した完全なCTSL-MKTモデルは、ResNet18およびResNet34を用いたCIFAR-100で平均Top-1精度77.07%を達成し、最高の性能を示した。
• 自己蒸留を除外したバージョン（バージョンB）では、性能低下が最大となり（例：ResNet18およびResNet34を用いたCIFAR-100で76.35%）、自己蒸留が学習の安定化において極めて重要な役割を果たしていることが示された。
• アブレーションスタディにより、複数の蒸留戦略と複数の知識タイプを併用することで、単一戦略または単一知識タイプの手法を常に上回ることが確認された。
• 本フレームワークは、4つの画像分類データセットで最先端の性能を達成し、既存のKD手法を著しく上回った。
• 本手法は、ResNet、MobileNetV2、ShuffleNetV2および異なる深さのバリエーションを含む多様な同伴ネットワークアーキテクチャに対して、堅牢な性能を示した。
• 性能向上の要因は、自己蒸留によるインスタンス一貫性の向上と、オンライン蒸留によるインスタンス相関一貫性の向上であり、両者が互いに補完し合っている。