[論文レビュー] Correlation Congruence for Knowledge Distillation

Baoyun Peng, Jin Xiao+6 more|arXiv (Cornell University)|Apr 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 3

ひとこと要約

本稿では、教師から生徒ネットワークへのインスタンスレベルの知識とインスタンス間相関の両方を転送することで、生徒ネットワークの性能を向上させる、新しい知識蒸留フレームワーク「相関整合知識蒸留（CCKD）」を提案する。ターミナル展開されたカーネル法を用いて相関をモデル化し、ミニバッチサンプリング戦略を最適化することで、CCKDは画像分類およびメトリクス学習のベンチマークで最先端の精度を達成し、標準的なKDおよび先行のSOTA手法を上回る性能を示す。

ABSTRACT

Most teacher-student frameworks based on knowledge distillation (KD) depend on a strong congruent constraint on instance level. However, they usually ignore the correlation between multiple instances, which is also valuable for knowledge transfer. In this work, we propose a new framework named correlation congruence for knowledge distillation (CCKD), which transfers not only the instance-level information, but also the correlation between instances. Furthermore, a generalized kernel method based on Taylor series expansion is proposed to better capture the correlation between instances. Empirical experiments and ablation studies on image classification tasks (including CIFAR-100, ImageNet-1K) and metric learning tasks (including ReID and Face Recognition) show that the proposed CCKD substantially outperforms the original KD and achieves state-of-the-art accuracy compared with other SOTA KD-based methods. The CCKD can be easily deployed in the majority of the teacher-student framework such as KD and hint-based learning methods.

研究の動機と目的

• 従来の知識蒸留手法がインスタンスレベルの整合性にのみ注目し、インスタンス間相関を無視するという限界を是正すること。
• 教師の埋め込み空間のクラス内一貫性とクラス間分離性を維持することで、生徒ネットワークの一般化性能を向上させること。
• ミニバッチ内のインスタンス間の複雑な相関を捉えるための一般化されたカーネルベースの手法を開発すること。
• 相関知識転送の質を向上させる有効なミニバッチサンプリング戦略を検討すること。
• 画像分類およびメトリクス学習を含む多様なビジョンタスクにおいて、CCKDの有効性を検証すること。

提案手法

• 教師と生徒ネットワーク間でインスタンスレベルおよび相関レベルの知識転送を同時に最適化する、相関整合知識蒸留（CCKD）を導入する。
• ガウスRBFカーネルのテイラー展開に基づく一般化されたカーネル法を用いて、ミニバッチ内インスタンス間の高次相関をモデル化・捉える。
• 教師と生徒ネットワークの埋め込み空間を同一次元に揃えるための全結合層を適用し、直接的な相関比較を可能にする。
• クラス均一ランダムサンプラー（CUR-sampler）およびスーパークラス均一ランダムサンプラー（SUR-sampler）の2つの新しいミニバッチサンプリング戦略を提案し、クラス内およびクラス間相関学習のバランスを取る。
• コサイン類似度ヒートマップを用いて、生徒の特徴空間におけるクラス内凝集性とクラス間分離性を可視化・分析する。
• 標準的な知識蒸留損失と、カーネル化された相関行列から導出された相関整合損失を組み合わせた損失関数を用いて、生徒ネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間におけるインスタンス間相関を維持することで、インスタンスレベルの模倣を超えた知識蒸留性能の向上が図れるか？
• RQ2 カーネル法におけるテイラー展開の次数が、高次相関のモデリングおよび下流性能に与える影響は何か？
• RQ3 異なるミニバッチサンプリング戦略が、相関知識転送の質に与える影響は何か？
• RQ4 CCKDは、生徒ネットワークの埋め込み空間において、より凝集的なクラス内および分離性の高いクラス間表現をもたらすか？
• RQ5 多様なビジョンタスクにおいて、CCKDは最先端の知識蒸留手法と比較して優れているか？

主な発見

• CCKDはCIFAR-100で最先端の性能を達成し、標準KDよりもトップ1精度で1.3%向上し、他のSOTA手法を上回る。
• ImageNet-1Kでは、標準KDよりもトップ1精度が1.1%向上し、ResNet-18を用いて74.5%のトップ1精度を達成した。
• MSMT17 ReIDベンチマークでは、ResNet-18を用いて59.6%のランク1精度と31.1%のmAPを達成し、標準KDおよび他のSOTA手法を顕著に上回った。
• ガウスRBFカーネルの3次テイラー展開が最良の性能を示し、1次展開よりも0.7%、2次展開よりも0.3%のmAP向上を達成した。
• k=4のSUR-samplerが最も高い性能（ランク1 59.6%、mAP 31.1%）を達成し、同様の設定下でUR-samplerおよびCUR-samplerを上回った。
• 可視化結果から、CCKDは標準KDよりも顕著に高いクラス内コサイン類似度を示しており、生徒の埋め込み空間におけるクラス内凝集性の強化が裏付けられた。