[論文レビュー] From Multimodal to Unimodal Attention in Transformers using Knowledge Distillation

Dhruv Agarwal, Tanay Agrawal+2 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling参考文献 27被引用数 5

ひとこと要約

本論文では、対照的表現 distillation (CRD) と注意マップにおけるエントロピー distillation (EDAM) を用いて、マルチモーダル事前学習モデルから単モーダル推論を可能にするトランスフォーマーにおける知識 distillation を導入する。最良の設定では、SOTA の精度を 3% 向上させ、パラメータを 2.5 倍削減し、推論時間を 22% 削減しながら、テスト時に映像モダリティのみを用いた感情認識の性能を維持する。

ABSTRACT

Multimodal Deep Learning has garnered much interest, and transformers have triggered novel approaches, thanks to the cross-attention mechanism. Here we propose an approach to deal with two key existing challenges: the high computational resource demanded and the issue of missing modalities. We introduce for the first time the concept of knowledge distillation in transformers to use only one modality at inference time. We report a full study analyzing multiple student-teacher configurations, levels at which distillation is applied, and different methodologies. With the best configuration, we improved the state-of-the-art accuracy by 3%, we reduced the number of parameters by 2.5 times and the inference time by 22%. Such performance-computation tradeoff can be exploited in many applications and we aim at opening a new research area where the deployment of complex models with limited resources is demanded.

研究の動機と目的

• マルチモーダルトランスフォーマーにおける高い計算コストとモダリティ欠落の課題に対処する。
• マルチモーダル教師から単モーダル生徒に知識を distillation することにより、効率的な単モーダル推論を可能にする。
• 性能を維持しながらモデルの複雑さを軽減するための最適な distillation 水準と手法を調査する。
• リソース制約下での複雑なマルチモーダルモデルのデプロイのための新しい研究分野を確立する。
• 注意マップへの distillation の有効性を示し、知識伝達のための CRD と EDAM の比較を行う。

提案手法

• マルチモーダルクロスアテンショントランスフォーマー（教師）から単モーダルセルフアテンショントランスフォーマー（生徒）への知識 distillation (KD) を適用する。
• 中間特徴レベル、特に注意マップにおける知識伝達のため、対照的表現 distillation (CRD) を使用する。
• 注意マップに直接クロスエントロピー損失を適用して注意パターンを伝達する、注意マップにおけるエントロピー distillation (EDAM) を導入する。
• 教師（クロスアテンション）と生徒（セルフアテンション）の注意マップ間の次元不一致に対処するための 2 つの戦略を実装する：ダウンサンプリング（EDAM-S↓）とアップサンプリング（EDAM-T↑）。
• 初期層、中間層、最終層の複数のレベルで、線形層と注意マップ表現を含め、生徒ネットワークを distillation 損失を用いて訓練する。
• 複数の教師構成を評価する：完全な 9 ブランチネットワークと個々のモダリティブランチ（映像、音声、言語）。

実験結果

リサーチクエスチョン

• RQ1 知識 distillation は、高い精度を維持したまま、マルチモーダル知識を単モーダル生徒トランスフォーマーに効果的に伝達できるか？
• RQ2 トランスフォーマー構造のどの層で知識 distillation が単モーダル推論に対して最も効果的か？
• RQ3 CRD と EDAM のような異なる distillation 方法は、性能と計算コストの観点でどのように比較できるか？
• RQ4 教師アーキテクチャの選択（例：完全なネットワーク対個々のブランチ）が、distillation の結果に顕著な影響を与えるか？
• RQ5 注意マップへの distillation は、教師と生徒の間で異なる注意メカニズム（クロスアテンション対セルフアテンション）があるという課題を克服できるか？

主な発見

• 最良の設定では、推論時に映像モダリティのみを用いた感情認識で、SOTA の精度を 3% 向上させた。
• 生徒モデルは、完全なマルチモーダル教師と比較して、パラメータを 2.5 倍削減し、推論時間を 22% 削減した。
• 注意マップにおけるエントロピー distillation (EDAM) は CRD を上回り、より高い精度と F1 スコアを達成し、計算オーバーヘッドも低かった。
• 注意マップのダウンサンプリング（EDAM-S↓）はアップサンプリングよりも優れており、過剰な情報損失を避けてより関連性の高い特徴を保持した。
• 特に注意マップにおける深い層での distillation が、出力層や初期層での distillation よりも優れた結果をもたらした。これは、中間表現が知識伝達により情報量が多いことを確認した。
• 個々のモダリティブランチを教師として使用しても、完全な教師ネットワークと比較して性能に顕著な差がなく、知識伝達におけるモダリティの独立性を示唆した。