[論文レビュー] On the Role of Attention in Prompt-tuning

Samet Oymak, Ankit Singh Rawat+2 more|arXiv (Cornell University)|Jun 6, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿は、注意機構に基づくモデルにおけるプロンプトチューニングの理論的分析を初めて提供し、文脈的混合モデル下で、ソフトマックスプロンプト注意が自己注意や線形プロンプト注意よりも理論的に表現力が優れていることを示している。勾配降下法によるプロンプト注意の最適化が、近似的に最適なサンプル複雑性を達成し、スパースで文脈に関連するトークンへの正確な注目を可能にし、文脈強度が高くなるにつれてテスト誤差が指数関数的に減少することを示している。

ABSTRACT

Prompt-tuning is an emerging strategy to adapt large language models (LLM) to downstream tasks by learning a (soft-)prompt parameter from data. Despite its success in LLMs, there is limited theoretical understanding of the power of prompt-tuning and the role of the attention mechanism in prompting. In this work, we explore prompt-tuning for one-layer attention architectures and study contextual mixture-models where each input token belongs to a context-relevant or -irrelevant set. We isolate the role of prompt-tuning through a self-contained prompt-attention model. Our contributions are as follows: (1) We show that softmax-prompt-attention is provably more expressive than softmax-self-attention and linear-prompt-attention under our contextual data model. (2) We analyze the initial trajectory of gradient descent and show that it learns the prompt and prediction head with near-optimal sample complexity and demonstrate how prompt can provably attend to sparse context-relevant tokens. (3) Assuming a known prompt but an unknown prediction head, we characterize the exact finite sample performance of prompt-attention which reveals the fundamental performance limits and the precise benefit of the context information. We also provide experiments that verify our theoretical insights on real datasets and demonstrate how prompt-tuning enables the model to attend to context-relevant information.

研究の動機と目的

• 注意ベースのモデルにおけるプロンプトチューニングの表現力と最適化ダイナミクスを理論的に理解すること。
• ソフトマックス注意機構が、文脈に適したスパースなトークンへの効果的な注目を可能にする役割を分離して同定すること。
• プロンプトが既知であるが予測ヘッドが未知である場合の、プロンプト注意の有限サンプル性能を特徴づけること。
• 制御されたデータモデル下で、プロンプトチューニングの一般化および最適化行動を自己注意や線形プロンプト注意と比較すること。
• 合成および実世界の画像分類データセットを用いた実験を通じて、理論的知見を検証すること。

提案手法

• 一層の注意アーキテクチャに従い、ソフトプロンプトと線形分類ヘッドを備えた自己完結型のプロンプト注意モデルを提案する。
• 入力トークンを文脈に適した（R）と関係のない（R^c）集合に分割する文脈的混合モデルを導入し、注意行動の制御された分析を可能にする。
• 集団レベルのモデルを用いて勾配降下法の初期軌道を分析し、初期段階でプロンプトとヘッドが近似的に最適なサンプル複雑性で学習されることを示す。
• 集団レベルの定理（定理2）を導出し、文脈強度Qとステップサイズγが十分に高い場合、テスト誤差がe^{-cQ²/σ²}の形で指数関数的に減少することを証明する。
• 有限サンプル分析（定理3）を提供し、文脈ベクトルの影響を補正するためのデバイアス補正を施す。これにより、関連するトークンへの高確率での注目と低テスト誤差を示す。
• トレーニング中にデバイアス補正ステップを導入し、最終予測におけるトークン選択におけるプロンプトの役割を分離し、一般化分析を簡略化する。

実験結果

リサーチクエスチョン

• RQ1 制御されたデータモデル下で、ソフトマックス注意を用いたプロンプトチューニングは、自己注意や線形プロンプト注意に比べて表現力がどのように優れているか？
• RQ2 初期トレーニング段階において、勾配降下法によるプロンプト注意が、スパースで文脈に適したトークンに理論的に注目できるか？
• RQ3 プロンプトが既知であるが予測ヘッドが未知である有限サンプル設定下で、プロンプト注意の性能は、文脈強度とスパarsityにどのように依存するか？
• RQ4 注意におけるソフトマックス非線形性は、特に高次元でスパースな設定下で、最適化と一般化をどのように促進するか？
• RQ5 スパース性（関連トークンの割合）、文脈強度、およびプロンプトと分類ヘッドのベクトル間の相関性の間の根本的トレードオフは何か？

主な発見

• 文脈的混合モデル下で、ソフトマックスプロンプト注意は、自己注意および線形プロンプト注意よりも理論的に表現力が優れている。
• 勾配降下法の初期軌道は、近似的に最適なサンプル複雑性でプロンプトと予測ヘッドを学習し、わずかなステップで高い精度を達成する。
• 十分に高い文脈強度Qとステップサイズγのもとで、テスト誤差はe^{-cα²Q²/σ²}の形で指数関数的に減少し、関連するトークンへのほぼ完全な注目が達成される。
• 有限サンプル設定下で、n ≳ d(Q/ζW)^4 log⁵(nd) の条件下では、関連するトークンへの高確率での注目が達成される：t ∈ R に対して aₜ ≥ (1−ε)/(ζT)，t ∉ R に対して aₜ ≤ ε/((1−ζ)T)。
• モデルのテスト誤差は 2Te^{-cα²Q²} で有界であり、スパース設定（ζ = O(1/√T)）下で線形モデルに比べて指数的改善が示される。
• 分析により、関連するトークンへの効果的な注目には、プロンプトベクトルが分類ヘッドに対してエネルギー的に優位である必要があることが明らかになった。特にρ ≠ 0の場合に顕著である。