[論文レビュー] Class Attention Transfer Based Knowledge Distillation

Ziyao Guo, Haonan Yan+2 more|arXiv (Cornell University)|Apr 25, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、教師モデルから学生モデルへクラスアクティベーションマップ（CAMs）を転送することで、学生ネットワークの性能を向上させる、新たな知識蒸留法であるClass Attention Transfer-based Knowledge Distillation（CAT-KD）を提案する。解釈可能なクラス固有の注目マップに焦点を当て、画像の判別に寄与する領域を強調することで、CAT-KDはImageNetおよびCIFARベンチマークで最先端の精度を達成するとともに、分類時の特徴の重要度を明示的にモデル化することで高い解釈性を実現する。

ABSTRACT

Previous knowledge distillation methods have shown their impressive performance on model compression tasks, however, it is hard to explain how the knowledge they transferred helps to improve the performance of the student network. In this work, we focus on proposing a knowledge distillation method that has both high interpretability and competitive performance. We first revisit the structure of mainstream CNN models and reveal that possessing the capacity of identifying class discriminative regions of input is critical for CNN to perform classification. Furthermore, we demonstrate that this capacity can be obtained and enhanced by transferring class activation maps. Based on our findings, we propose class attention transfer based knowledge distillation (CAT-KD). Different from previous KD methods, we explore and present several properties of the knowledge transferred by our method, which not only improve the interpretability of CAT-KD but also contribute to a better understanding of CNN. While having high interpretability, CAT-KD achieves state-of-the-art performance on multiple benchmarks. Code is available at: https://github.com/GzyAftermath/CAT-KD.

研究の動機と目的

• 従来の知識蒸留手法、特にログイットや特徴に基づく手法における解釈性の欠如に取り組む。
• クラスアクティベーションマップ（CAMs）の転送が、学生モデルの性能向上およびCNN分類メカニズムの理解を深めるのに有効であるかどうかを検証する。
• 高い解釈性と同時に最先端の性能を達成する知識蒸留フレームワークを開発する。
• クラスに特徴的な領域を特定する能力がCNNにとって重要であり、CAMの転送によってその能力を強化できるかどうかを示す。

提案手法

• 推論中にクラスアクティベーションマップ（CAMs）をエンドツーエンドで生成できるように、CNNの最終全結合層を1×1畳み込み層に変換する。
• 学習中に教師ネットワークからCAMsを抽出し、それらは入力画像の各クラスを予測するために最も関連性の高い空間的領域を表す。
• CAMsを正規化してクラス予測スコアを除去し、空間的注目度の手がかりのみを保持することで、学生が判別に寄与する領域に注目するように学習させる。
• 学生のCAMsと教師の正規化済CAMsとの間のL2損失を最小化することで、注目パターンの整合性を促進する。
• 学生のCAMsにグローバル平均プーリングを適用し、最終的な分類スコアを生成することで、標準的な分類パイプラインと互換性を保つ。
• 出力ログイットや特徴マップではなく、空間的注目度の一貫性に重点を置いた蒸留損失を導入することで、解釈性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クラスアクティベーションマップ（CAMs）の転送が、知識蒸留における学生ネットワークの性能向上に寄与するか？
• RQ2 クラスに特徴的な領域を特定する能力がCNN分類において果たす役割は何か？ また、この能力は知識転送によって強化可能か？
• RQ3 ログイットや特徴に基づく蒸留と比較して、CAMベースの蒸留の解釈性はどのように異なるか？
• RQ4 教師ネットワークの精度が、CAM転送を用いた場合に学生の性能に直接影響を与えるか？
• RQ5 データ効率、学習コスト、他の知識蒸留手法との転送可能性において、CAT-KDはどのように比較されるか？

主な発見

• ResNet50を教師、MobileNetを学生として用いた場合、ImageNetではトップ-1精度72.24%を達成し、比較手法をすべて上回る最先端の性能を発揮する。
• CIFAR-100では、学習データの20%のみを用いても高い性能を維持し、他のKD手法と比較して優れたデータ効率を示す。
• 転送性評価において、線形プローブ精度が最高（STL-10で74.43%、Tiny-ImageNetで40.73%）を記録し、非常に汎用性の高い知識転送が可能であることを示す。
• データ不足下でも最小限の性能低下を示し、学習データを20%に減らしても精度が1.5%しか低下しないため、ベースライン手法を上回る。
• 学習効率が最も高く、ログイットベース手法と同等の計算コストで実行可能であり、補助ネットワークを必要とする特徴ベース手法よりも顕著に少ない。
• 教師モデルが弱い場合、CAT-KDの性能が低下するため、転送されるCAMsの品質が学生の性能に直接影響することが確認された。