[論文レビュー] Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models

Robert L. Logan, Ivana Balažević+4 more|arXiv (Cornell University)|Jun 24, 2021

Topic Modeling被引用数 5

ひとこと要約

この論文は、[MASK]トークンを含む入力の連結（null prompt）と、バイアスのみを微調整する手法（BitFit）を組み合わせた、シンプルで効果的な few-shot ラーニング手法を提案している。この手法は、手動で設計されたプロンプトと同等の精度を達成する一方で、パラメータ更新を1,000倍削減し、プロンプトベースの微調整を、インコンテキストラーニングやフル微調整よりも、より頑健かつメモリ効率の良いものにしている。

ABSTRACT

Prompting language models (LMs) with training examples and task descriptions has been seen as critical to recent successes in few-shot learning. In this work, we show that finetuning LMs in the few-shot setting can considerably reduce the need for prompt engineering. In fact, one can use null prompts, prompts that contain neither task-specific templates nor training examples, and achieve competitive accuracy to manually-tuned prompts across a wide range of tasks. While finetuning LMs does introduce new parameters for each downstream task, we show that this memory overhead can be substantially reduced: finetuning only the bias terms can achieve comparable or better accuracy than standard finetuning while only updating 0.1% of the parameters. All in all, we recommend finetuning LMs for few-shot learning as it is more accurate, robust to different prompts, and can be made nearly as efficient as using frozen LMs.

研究の動機と目的

• few-shot ラーニングにおける複雑なプロンプト設計依存を減らすために、シンプルで効果的なプロンプトを同定すること。
• 下流タスクにおけるプロンプトベースの微調整におけるメモリオーバーヘッドを最小限に抑えること。
• 軽量なパラメータ更新が、フル微調整の精度を上回るか同等の性能を発揮できるかどうかを評価すること。
• 自動プロンプトチューニングを用いたプロンプトベースの微調整とインコンテキストラーニングの有効性を比較すること。
• few-shot ラーニングの成功要因が、プロンプト設計に起因するのか、それともマスクされたトークン予測といったモデルの本質的特性に起因するのかを調査すること。

提案手法

• [MASK]トークンを含む、タスク固有のテンプレートや訓練例を一切含まない入力シーケンス（null prompt）を使用すること。
• モデルのバイアス項のみを更新する（BitFit）ことで、プロンプトベースの微調整を実施し、微調整可能なパラメータ数を全モデルの約0.1%にまで削減すること。
• アダプタ、LMヘッドチューニング、キャリブレーションレイヤーといった代替の軽量微調整手法を評価すること。
• 複数の自然言語処理タスク（例：MNLI、QQP、SST-2）において、手動と自動プロンプトチューニングの両方を用いて性能を比較すること。
• [MASK]トークンにおける標準的なMLMヘッド予測を用いたマスク言語モデル（MLM）を用い、分類タスクを実行すること。
• 精度とメモリ効率の両面で、インコンテキストラーニングやフル微調整をベンチマークとして比較すること。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のテンプレートや訓練例を一切含まない null prompt は、手動で設計されたプロンプトと比較して、競争力のある few-shot 精度を達成できるか？
• RQ2 バイアス項のみを微調整する（BitFit）ことで、パラメータ更新数を著しく削減しながらも、性能が維持または向上するか？
• RQ3 プロンプトベースの微調整とインコンテキストラーニングの間で、精度とプロンプト変更に対する頑健性の観点から、どちらが優れているか？
• RQ4 自動プロンプトチューニング（例：AutoPrompt）は、few-shot 環境において、手動で設計されたプロンプトの代替として効果的に機能するか？
• RQ5 few-shot ラーニングの成功要因は、主にプロンプト設計に起因するのか、それともマスク予測といったモデルの本質的特性に起因するのか？

主な発見

• 入力と [MASK] トークンの単純な連結である null prompt は、複数のタスクにおいて、手動で設計されたプロンプトと同等またはそれ以上の精度を達成している。
• バイアス項のみを微調整する（BitFit）ことで、全パラメータの0.1%しか更新しないにもかかわらず、フル微調整と同等または優れた精度を達成している。
• BitFit 法は、複数のタスクにおいて「勝ち数」がフル微調整を上回っており、16ショットデータに対して全パラメータを更新することは、最適でない可能性を示している。
• インコンテキストラーニングにおける自動プロンプトチューニングは、非 few-shot 環境とは異なり、手動で設計されたプロンプトの性能に達しない。
• アダプタとフル微調整では、パラメータ数の増加に伴い、精度の向上が鈍化しており、これは小さな更新セットがより効果的である可能性を示唆している。
• null prompt と BitFit の組み合わせは、インコンテキストラーニングや標準的な微調整を上回る、頑健でメモリ効率が良く、非常に高い精度を発揮する few-shot ラーニング手法を提供している。