[論文レビュー] Online Knowledge Distillation with Diverse Peers

Defang Chen, Jian-Ping Mei+3 more|arXiv (Cornell University)|Dec 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 4

ひとこと要約

本稿では、事前学習済みの教師モデルに依存せずに、多様な補助ペアとグループリーダーを用いることでモデル性能を向上させる2段階のオンライン知識蒸留フレームワーク、OKDDipを提案する。最初の段階の蒸留では、注目メカニズムを用いて動的で非対称な重みを割り当て、ペアの多様性を保ちながら一般化性能を向上させる。2番目の段階では、アンサンブルの知識を1つの推論用モデルに転送し、追加の学習コストや推論コストなしに最先端の手法を上回る性能を達成する。

ABSTRACT

Distillation is an effective knowledge-transfer technique that uses predicted distributions of a powerful teacher model as soft targets to train a less-parameterized student model. A pre-trained high capacity teacher, however, is not always available. Recently proposed online variants use the aggregated intermediate predictions of multiple student models as targets to train each student model. Although group-derived targets give a good recipe for teacher-free distillation, group members are homogenized quickly with simple aggregation functions, leading to early saturated solutions. In this work, we propose Online Knowledge Distillation with Diverse peers (OKDDip), which performs two-level distillation during training with multiple auxiliary peers and one group leader. In the first-level distillation, each auxiliary peer holds an individual set of aggregation weights generated with an attention-based mechanism to derive its own targets from predictions of other auxiliary peers. Learning from distinct target distributions helps to boost peer diversity for effectiveness of group-based distillation. The second-level distillation is performed to transfer the knowledge in the ensemble of auxiliary peers further to the group leader, i.e., the model used for inference. Experimental results show that the proposed framework consistently gives better performance than state-of-the-art approaches without sacrificing training or inference complexity, demonstrating the effectiveness of the proposed two-level distillation framework.

研究の動機と目的

• グループベースのオンライン知識蒸留におけるモデルの同調化の課題に対処すること。
• 訓練中に学生ペア間の多様性を維持することで、教師なし蒸留における一般化性能を向上させること。
• 推論用の1つのグループリーダーに多様なペアから知識を効率的に転送する2段階の蒸留フレームワークを設計すること。
• 事前学習済みの教師モデルの必要性を排除しつつ、教師ガイド付きKDと同等またはそれ以上の性能を達成すること。

提案手法

• OKDDipは複数の補助ペアと1つのグループリーダーを用い、最初の段階の蒸留をペア間で実行する。注目メカニズムを用いて個別化された集約重みを生成する。
• 各ペアは、他のペアの予測に注目ベースの重みを適用することで、独自のターゲット分布を計算し、多様なターゲット分布を促進する。
• 注目メカニズムは、ペアへの重要性を動的に割り当て、高品質な予測が他のペアに強く影響を与えるのを可能にし、劣悪に最適化されたペアの悪影響を低減する。
• 2番目の段階の蒸留では、多様なペアのアンサンブルからグループリーダーに知識を転送し、効率性を確保する。
• ペアレベルとグループリーダーレベルの両方の知識蒸留損失を統合し、学習や推論の複雑さに変化がない。
• 本手法は、ResNetベースのアーキテクチャを用いてCIFAR-10、CIFAR-100、ImageNet-2012で評価され、さまざまな設定において堅牢性を示した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの教師モデルに依存せずに、オンライン知識蒸留が高い性能を達成できるか？
• RQ2 グループベースの蒸留において、ペアの多様性をどのように維持できるか？早期飽和や同調化を回避するには？
• RQ3 非対称的で注目ベースの集約が、蒸留性能とモデル一般化に与える影響は何か？
• RQ4 ペア間で最初に蒸留を行い、次にグループリーダーに知識を転送する2段階の蒸留フレームワークは、単一段階のペア蒸留よりも性能を向上させるか？
• RQ5 教師フリーの蒸留手法は、教師ガイド付きKDよりも精度と効率性の面で優れているか？

主な発見

• OKDDipは、CIFAR-10、CIFAR-100、ImageNet-2012の全データセットで最先端のオンライン知識蒸留手法を上回り、すべてのデータセットで一貫した精度向上を示した。
• アブレーションスタディの結果、注目ベースのメカニズムを削除した場合（w/o SA）CIFAR-100で誤差率が2.61%上昇し、多様性の維持においてその重要性が明確になった。
• 単純な平均化（w/o SA, mean）による集約では、ペアの同調化により0.72%の性能低下が生じ、動的重み付けの利点を確認した。
• 注目重みの非対称性を削除した場合（w/o SA, asymmetry）誤差が0.42%上昇し、劣ったペアからの悪影響を軽減するのに非対称的注目が有効であることが証明された。
• 2段階目の蒸留を削除した場合（w/o two-level）誤差が2.16%上昇し、最終的な推論モデルへの有効な知識転送には不可欠であることが確認された。
• 事前学習済みの教師が利用可能な場合、OKDDip+KD（教師支援）は標準的なKDおよびベースラインモデルを上回り、教師レベルの精度に近づいたが、教師フリーのOKDDipはCIFAR-10およびCIFAR-100で教師ガイド付きKDを上回った。