[論文レビュー] Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching

Mingi Ji, Byeongho Heo+1 more|arXiv (Cornell University)|Feb 5, 2021

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、教師モデルと生徒モデル間の有効な特徴レベル接続を自動的に同定・重み付けするアテンションメカニズムを用いた、Attention-based Feature Distillation (AFD) という知識蒸留手法を提案する。AFDは、学習済みの特徴類似度に基づいて動的に蒸留強度を割り当てるため、手動でのリンク選択を不要とし、モデル圧縮および転移学習タスクで最先端の性能を達成する。従来のL2Tなどの手法よりも効率的な学習と、多様なアーキテクチャにわたる優れた一般化性能を実現する。

ABSTRACT

Knowledge distillation extracts general knowledge from a pre-trained teacher network and provides guidance to a target student network. Most studies manually tie intermediate features of the teacher and student, and transfer knowledge through pre-defined links. However, manual selection often constructs ineffective links that limit the improvement from the distillation. There has been an attempt to address the problem, but it is still challenging to identify effective links under practical scenarios. In this paper, we introduce an effective and efficient feature distillation method utilizing all the feature levels of the teacher without manually selecting the links. Specifically, our method utilizes an attention-based meta-network that learns relative similarities between features, and applies identified similarities to control distillation intensities of all possible pairs. As a result, our method determines competent links more efficiently than the previous approach and provides better performance on model compression and transfer learning tasks. Further qualitative analyses and ablative studies describe how our method contributes to better distillation. The implementation code is available at github.com/clovaai/attention-feature-distillation.

研究の動機と目的

• 知識蒸留における手動による特徴リンク選択の限界を解消し、教師モデルと生徒モデル間の非効率的または不適切な接続を回避すること。
• 高価な内側ループ最適化や孤立したゲートメカニズムに依存せずに、効率的かつ効果的に最も情報量の多い特徴レベル接続を同定する手法を開発すること。
• すべての可能な特徴ペア間のアテンションベースの類似度学習を活用することで、モデル圧縮および転移学習の性能を向上させること。
• L2Tのようなメタラーニングベースの蒸留手法に比べ、高い計算コストとリンク間の認識欠如を抱える問題を解消する、スケーラブルで効率的かつ一般化可能な代替手法を提供すること。

提案手法

• 教師モデルと生徒モデルの複数レベルにおける特徴マップ間のペアワイズ類似度を計算するためのアテンションベースのメタネットワークを導入する。
• アテンションメカニズムは、クエリを生徒特徴から、キーを教師特徴から得るクエリ-キー内積類似度を計算し、蒸留強度に動的な重み付けを可能にする。
• 蒸留損失は、アテンション重みを特徴レベルのL2またはコサイン類似度損失に適用することで計算され、モデルが最も関連性の高い特徴ペアに注目できるようにする。
• 本手法は共学習設定で動作し、内側ループのヘシアン計算を必要とせず、生徒ネットワークとアテンションベースの蒸留ヘッドを同時に最適化する。
• アテンションメカニズムはクエリ、キー、値の投影を用い、ReLUおよびアイデンティティ活性化関数を採用し、標準的なバックプロパゲーションによりエンドツーエンドで学習する。
• 本手法はCRD や RKD などの既存の蒸留技術と互換性があり、それらと組み合わせることでさらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 手動による介入なしに、教師モデルと生徒モデル間の最も関連性の高い特徴レベル接続をアテンションメカニズムが効果的に同定できるか？
• RQ2 アテンションベースの特徴マッチングは、手動またはゲートベースのリンク手法と比較して、蒸留性能および計算効率においてどのように差をつけるか？
• RQ3 アテンションメカニズムは、モデル圧縮や転移学習などの多様なネットワークアーキテクチャおよび下流タスクにおいて一般化性能を向上させるか？
• RQ4 アーキテクチャの不一致、例えば特徴マップサイズやチャネル数の違いに対して、アテンションベースのアプローチはどのように対処するか？
• RQ5 スケーリング係数βなどのハイパーパrameterが、アテンションベースの蒸留プロセスの安定性および性能に与える影響は何か？

主な発見

• AFDは、CIFAR-100、tinyImageNet、ImageNetのモデル圧縮タスクにおいて、手動およびL2Tベースの蒸留手法を上回る最先端の性能を達成する。
• MIT67転移学習ベンチマークでは、ResNet18を生徒モデルとして使用した場合、75.07%の精度を達成し、L2T（74.85%）およびATT（72.54%）を上回り、優れた一般化性能を示す。
• アブレーションスタディでは、AFDは特に教師と生徒のアーキテクチャが異なる場合に、ランダムまたは順序付きリンク戦略を常に上回る。
• 本手法は多様なアーキテクチャに対して頑健であり、ResNet34 → WRN-28-2の設定で共同学習時に77.26%の精度を達成した。対照的に、順序付きリンクでは76.07%であった。
• 感度解析により、ハイパーパrameter βは性能に測定可能なが、管理可能な範囲にとどまる影響を及ぼすことが確認された。最適な値は狭く安定した範囲に存在した。
• AFDとCRDを組み合わせることで、AFD単体に比べ0.44パーセンテージポイントの精度向上が得られ、他の蒸留技術と併用可能な利点が示された。