[論文レビュー] When Do Prompting and Prefix-Tuning Work? A Theory of Capabilities and Limitations

Aleksandar Petrov, Philip H. S. Torr+1 more|arXiv (Cornell University)|Oct 30, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

この論文は、プロンプティング、ソフトプロンプティング、プレフィックスチューニングなどのコンテキストベースのファインチューニング手法を理論的に分析し、それらが新しいアテンションパターンを学習できないため、フルファインチューニングより厳密に表現力が低いことを示している。連続的埋め込み空間はより高い表現力を有するが、プレフィックスチューニングはアテンション出力を固定方向にバイアスするにとどまり、新しいアテンションダイナミクスを必要とする新しいタスクを学習する能力が制限される。

ABSTRACT

Context-based fine-tuning methods, including prompting, in-context learning, soft prompting (also known as prompt tuning), and prefix-tuning, have gained popularity due to their ability to often match the performance of full fine-tuning with a fraction of the parameters. Despite their empirical successes, there is little theoretical understanding of how these techniques influence the internal computation of the model and their expressiveness limitations. We show that despite the continuous embedding space being more expressive than the discrete token space, soft-prompting and prefix-tuning are potentially less expressive than full fine-tuning, even with the same number of learnable parameters. Concretely, context-based fine-tuning cannot change the relative attention pattern over the content and can only bias the outputs of an attention layer in a fixed direction. This suggests that while techniques like prompting, in-context learning, soft prompting, and prefix-tuning can effectively elicit skills present in the pretrained model, they may not be able to learn novel tasks that require new attention patterns.

研究の動機と目的

• プロンプティングやプレフィックスチューニングのようなコンテキストベースのファインチューニング手法の理論的表現力の限界を理解すること。
• 連続的埋め込み空間が、プロンプティングにおける離散トークンと比較して真に計算上の利点を提供するかどうかを調査すること。
• 構造的制限にもかかわらずプレフィックスチューニングがなぜ実験的に成功するのかを説明すること。
• これらの手法が、根本的に新しいアテンションパターンを必要とするタスクでなぜ失敗するのかを明確にすること。
• モデルの整合性、深刻な忘却、解釈可能性に与える影響を検討すること。

提案手法

• 異なるファインチューニング規則（離散的プロンプティング、ソフトプロンプティング、プレフィックスチューニング）におけるトランスフォーマーのアテンションメカニズムの理論的分析。
• 異なるファインチューニング手法で顕著に異なる動作を示す最小限のトランスフォーマーの構築により、表現力の限界を実証すること。
• プレフィックスチューニングがコンテンツトークン上の相対的アテンションパターンを変更できないことを形式的証明すること。代わりに、固定部分空間にアテンション出力をバイアスするにとどまる。
• プレフィックスによって引き起こされるバイアスが、下流の非線形演算とどのように作用し、モデルの挙動に影響を与えるかの分析。
• アテンション出力部分空間のランクに基づく議論を用いて、プレフィックスチューニングとフルファインチューニングの表現力の比較。
• 理論的主張を再現可能にするために、明示的な構築とコードの公開による実験的検証。

実験結果

リサーチクエスチョン

• RQ1 連続的埋め込み空間は、トランスフォーマーにおける離散的トークンプロンプティングよりも真に高い表現力を可能にするのか？
• RQ2 同じ数の学習可能なパラメータを持つにもかかわらず、プレフィックスチューニングはフルファインチューニングと同等の表現力を持つのか？
• RQ3 プレフィックスチューニングが新しいアテンションパターンを学習できないにもかかわらず、なぜコンテキストベースの手法が高水準の実験的パフォーマンスを達成できるのか？
• RQ4 プレフィックスチューニングがアテンションダイナミクスを変更する上で、構造的制限は何か？
• RQ5 コンテキストベースのファインチューニングは、完全に新しいアテンションパターンを必要とするタスクを学習できるのか？

主な発見

• ソフトプロンプティングとプレフィックスチューニングは、同じ数の学習可能なパラメータを持つにもかかわらず、フルファインチューニングよりも厳密に表現力が低い。
• プレフィックスチューニングは、コンテンツトークン上の相対的アテンションパターンを変更できない。代わりに、固定方向へのアテンション出力のバイアスのみを実行できる。
• プレフィックスによって引き起こされるアテンション出力バイアスは、プレフィックス長に等しいランクの部分空間に限定され、表現力が制限される。
• 構造的制限にもかかわらず、プレフィックスチューニングは事前学習済みスキルの引き出しや組み合わせに成功し、これが転送可能なタスクにおける実験的成功を説明する。
• プレフィックスチューニングは、完全に新しいアテンションパターンを必要とするタスクで失敗するが、同じパラメータ数でフルファインチューニングが成功できる場合がある。
• 結果から、現在の整合性手法は望ましくない行動を完全に排除するのではなく、マスクしているにすぎない可能性がある。なぜなら、コンテキストベースのファインチューニングは新しい悪意のある行動を誘発できないからである。