[論文レビュー] TOAST: Transfer Learning via Attention Steering

Baifeng Shi, Siyu Gai+2 more|arXiv (Cornell University)|May 24, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

TOASTは、バックボーンを微調整せずに、タスク関連の特徴に注目を再集中させることでモデル性能を向上させる、革新的な転移学習手法である。トップダウン注目モジュールを用いて自己注意層内の関連する特徴を選択的に強化し、微調整の必要がないにもかかわらず、FGVC（86.2%の正確度）および指示従いタスクのベンチマークで最先端の結果を達成している。

ABSTRACT

Transfer learning involves adapting a pre-trained model to novel downstream tasks. However, we observe that current transfer learning methods often fail to focus on task-relevant features. In this work, we explore refocusing model attention for transfer learning. We introduce Top-Down Attention Steering (TOAST), a novel transfer learning algorithm that keeps the pre-trained backbone frozen, selects task-relevant features in the output, and feeds those features back to the model to steer the attention to the task-specific features. By refocusing the attention only, TOAST achieves state-of-the-art results on a number of transfer learning benchmarks, while having a small number of tunable parameters. Compared to fully fine-tuning, LoRA, and prompt tuning, TOAST substantially improves performance across a range of fine-grained visual classification datasets (e.g., 81.1% -> 86.2% on FGVC). TOAST also outperforms the fully fine-tuned Alpaca and Vicuna models on instruction-following language generation. Code is available at https://github.com/bfshi/TOAST.

研究の動機と目的

• 既存の転移学習手法が、タスク関連の特徴にモデルの注目を集中させられないという限界に対処すること。
• パrameterの更新に依存せず、明示的に注目を再集中させることで、転移学習における下流タスクの性能を向上させること。
• 完全微調整の計算コストを回避しつつ、最小限のパラメータチューニングで最先端の結果を達成すること。
• 注目再集中だけでも、完全微調整されたモデルを上回る性能を達成できるかどうかを検証すること。

提案手法

• TOASTは、バックボーンの出力からタスク関連の特徴を選択し、それを各自己注意層にフィードバックするトップダウン注目モジュールを導入する。
• フィードバック信号により、注目メカニズム内のクエリ、キー、値の投影を調整することで、タスク固有の特徴への注目が強化される。
• 事前学習済みのバックボーンは凍結されたままであり、下流タスクでの微調整はトップダウン注目モジュールのみに限定される。
• 特徴選択モジュールでは、トークン単位およびチャネル単位の注目を用いて、関連する空間的およびチャネル的特徴を特定・強化する。
• TOAST-Liteはパラメータ効率の高い変種であり、より少ないチューナブルパラメータでTOASTと同等の性能を達成し、LoRAと同等の効率を示す。
• 収束性と性能の向上を図るため、トップダウンモジュールの初期化に事前チューニング段階を含める。

実験結果

リサーチクエスチョン

• RQ1 バックボーンを微調整せずに、タスク関連の特徴に注目を再集中させることで、転移学習の性能向上が達成できるか。
• RQ2 完全微調整やLoRA、プロンプトチューニングなどのパラメータ効率の高い手法と比較して、トップダウン注目誘導は下流ベンチマークでどのように性能を発揮するか。
• RQ3 事前チューニングやチャネル単位の注目といったアーキテクチャ的要素が、TOASTの性能に与える影響は何か。
• RQ4 TOASTは視覚タスクを超えて、LLaMA-7Bのような大規模言語モデルにも一般化可能か、特に指示従いタスクにおいて。
• RQ5 計算オーバーヘッドは性能に与える影響は何か。また、顕著な正確度の損失を伴わずに削減可能か。

主な発見

• FGVCベンチマークでは86.2%の平均正確度を達成し、完全微調整済みのViT-Bよりも5%、LoRAよりも5.1%高い。
• VTABベンチマークでは18のタスクのうち11で他の手法を上回り、多様な視覚タスクにわたる広範な有効性を示している。
• 指示従い言語生成タスクにおいて、TOASTは完全微調整済みのAlpacaおよびVicunaモデルを上回り、より詳細かつ情報量の多い応答を生成している。
• TOAST-Liteは、FGVCでTOASTと同等の性能を達成しながら、非常に少ないパラメータをチューニングしており、同程度のパラメータ効率を持つLoRAやVPTを上回っている。
• アブレーションスタディの結果、事前チューニングは不可欠であることが判明した。これを削除すると正確度は86.2%から81.9%に低下するが、依然として完全微調整を上回っている。
• チャネル単位の注目を削除すると、トークン単位の注目を削除するよりも大きな負の影響が生じており、性能にとってチャネルレベルの特徴選択が極めて重要であることが示された。