[論文レビュー] Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models

Shengnan An, Yifei Li+7 more|arXiv (Cornell University)|Mar 7, 2022

Topic Modeling被引用数 12

ひとこと要約

本稿では、入力が事前学習分布とは異なる場合の自然言語生成（NLG）タスクにおける、固定事前学習言語モデル（PLM）の性能を向上させるための入力チューニング（Input-Tuning）を提案する。この手法は、連続的ソフトプロンプトと軽量な入力アダプタモジュールを同時に最適化することで、プロンプトチューニングを上回り、全微調整と同等または優れた結果を7つのNLGタスクで達成する。

ABSTRACT

Recently the prompt-tuning paradigm has attracted significant attention. By only tuning continuous prompts with a frozen pre-trained language model (PLM), prompt-tuning takes a step towards deploying a shared frozen PLM to serve numerous downstream tasks. Although prompt-tuning shows good performance on certain natural language understanding (NLU) tasks, its effectiveness on natural language generation (NLG) tasks is still under-explored. In this paper, we argue that one of the factors hindering the development of prompt-tuning on NLG tasks is the unfamiliar inputs (i.e., inputs are linguistically different from the pretraining corpus). For example, our preliminary exploration reveals a large performance gap between prompt-tuning and fine-tuning when unfamiliar inputs occur frequently in NLG tasks. This motivates us to propose input-tuning, which fine-tunes both the continuous prompts and the input representations, leading to a more effective way to adapt unfamiliar inputs to frozen PLMs. Our proposed input-tuning is conceptually simple and empirically powerful. Experimental results on seven NLG tasks demonstrate that input-tuning is significantly and consistently better than prompt-tuning. Furthermore, on three of these tasks, input-tuning can achieve a comparable or even better performance than fine-tuning.

研究の動機と目的

• 事前学習分布から大きく離れた入力に対してプロンプトチューニングの性能低下を是正すること。
• 入力表現を直接変換することで、プロンプトチューニングと全微調整の性能ギャップを埋められることを検証すること。
• PLMの重みを固定したまま、分布外の入力への適応を向上させるパラメータ効率の良い手法を開発すること。
• 特にリソースが限られた状況においても、多様なNLGタスク、バックボーン、データスケールにわたる入力チューニングの有効性を評価すること。

提案手法

• 固定PLMの最初の層の直前に挿入される、軽量で学習可能な入力アダプタモジュールを導入する。
• すべてのPLM重みを固定したまま、トレーニング中にソフトプロンプトと入力アダプタのパラメータを同時に最適化する。
• 入力アダプタを用いて、固定PLMが処理する前の入力トークン表現を変換する。
• 生成処理の前に、入力アダプタの出力にソフトプロンプトを連結する。
• PLMのインダクティブバイアスを損なわないように、単純なフィードフォワード構造を持つトークン単位の入力アダプタを採用する。
• 生成タスクにおける標準的なシーケンス・ツー・シーケンスの目的関数と交差エントロピー損失を用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 入力の生得的不適合性は、NLGタスクにおけるプロンプトチューニングの性能にどのように影響するか？
• RQ2 入力表現の変換を学習することで、分布外入力におけるプロンプトチューニングの性能向上が図れるか？
• RQ3 ソフトプロンプトと学習可能な入力アダプタを組み合わせることで、プロンプトチューニング単体よりも一般化性能が向上するか？
• RQ4 性能とパラメータ効率の観点から、入力チューニングは全微調整と比べてどのように差がつくか？
• RQ5 アダプタの種別やプロンプト長といった設計選択が、入力チューニングの性能に最も大きな影響を与えるか？

主な発見

• 7つのNLGタスクにおいて、入力が不慣れな状況でも、入力チューニングはプロンプトチューニングを著しく上回り、全タスクで一貫した改善が得られた。
• 7つのタスクのうち3つでは、入力チューニングが全微調整と同等または優れた性能を達成しており、特にリソースが限られた状況で顕著であった。
• プロンプトチューニングと全微調整の性能ギャップは、手動で入力の分布を事前学習分布に合わせることで縮小されたことから、入力表現の不一致が主なボトルネックであると考えられる。
• より単純なトークン単位の入力アダプタが、より複雑なシーケンス単位のアダプタを上回る性能を示し、軽量な設計がPLMの能力をより効果的に保持していることが示唆された。
• ソフトプロンプトは不可欠である：それらを除去すると、入力チューニングはベースラインのプロンプトチューニングでさえも下回る性能を示した。
• 単純なタスク（例：E2E）では短いプロンプトが最適であり、複雑なタスク（例：Fr-En）では長いプロンプトが好まれるため、最適なプロンプト長はタスクに依存することが示された。