[論文レビュー] An Information-theoretic Approach to Prompt Engineering Without Ground Truth Labels

Taylor Sorensen, Joshua A. Robinson+7 more|arXiv (Cornell University)|Mar 21, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、入力とモデル出力の相互情報量（MI）を最大化することで最適なプロンプトテンプレートを選択する、ラベルなしの新規プロンプト工学手法を提案する。これは、教師データラベルやモデルパラメータへのアクセスを必要としない。8つの多様なNLPタスクにおいて、MIベースの手法は平均プロンプト精度から最良のプロンプト精度への90%の到達度を達成し、ラベルやモデル重みなしでオракルレベルの性能を達成する。

ABSTRACT

Pre-trained language models derive substantial linguistic and factual knowledge from the massive corpora on which they are trained, and prompt engineering seeks to align these models to specific tasks. Unfortunately, existing prompt engineering methods require significant amounts of labeled data, access to model parameters, or both. We introduce a new method for selecting prompt templates extit{without labeled examples} and extit{without direct access to the model}. Specifically, over a set of candidate templates, we choose the template that maximizes the mutual information between the input and the corresponding model output. Across 8 datasets representing 7 distinct NLP tasks, we show that when a template has high mutual information, it also has high accuracy on the task. On the largest model, selecting prompts with our method gets 90\% of the way from the average prompt accuracy to the best prompt accuracy and requires no ground truth labels.

研究の動機と目的

• ラベル付きデータが乏しいもしくは存在しない低リソース環境におけるプロンプト工学の課題に対処すること。
• 効果的なプロンプトテンプレートの選択に、モデルパラメータや教師ラベルに依存しないようにすること。
• 凍結された言語モデルからの入力出力統計のみを用いて、プロンプトのパフォーマンスを予測する手法を開発すること。
• 入力とモデル出力の間の相互情報量が、下流タスクの精度の優れた代理指標であることを示すこと。
• 勾配ベースの最適化が不可能なクローズドソースまたはブラックボックス言語モデルに対しても、プロンプト選択を可能にすること。

提案手法

• この手法は、入力トークンとモデル出力との間の相互情報量（MI）を推定することでプロンプトテンプレートを選択する。
• 各候補テンプレートについて、保留された入力セット上でモデルが出力し、入力分布と出力分布の間のMIを計算する。
• 入力および出力トークン系列の連合分布に対して、非パラメトリックなk近傍法を用いてMIを推定する。
• 推定されたMIが最大となるテンプレートが、最も情報量が多く、高いタスク精度をもたらす可能性があるとされ、選択される。
• このアプローチは完全に凍結された言語モデルの出力上でのみ動作し、ファインチューニングやモデル重みへのアクセスを一切必要としない。
• 出力の分散を低減するために、トークン集合が統合され、MI推定の安定性が向上する。

実験結果

リサーチクエスチョン

• RQ1 入力とモデル出力の間の相互情報量が、プロンプト選択において下流タスク精度の信頼できる代理指標として機能するか。
• RQ2 教師ラベルを使用せずに、MIベースのプロンプト選択がオラクルプロンプト選択の性能にどの程度近づけるか。
• RQ3 ラベルが利用不可な状況において、MIベースの手法が多様なNLPタスクおよびモデルサイズでどの程度の性能を示すか。
• RQ4 この手法が異なるプロンプトテンプレートや入力分布に一般化できるか。
• RQ5 モデルパラメータへのアクセスが不可能な状況でも、MI推定が高パフォーマンスなプロンプトを特定できるか。

主な発見

• 最大のモデル（GPT-3 Davinci, 175B）において、MIベースの手法は、教師ラベルを一切使用せずに、平均プロンプト精度から最良のプロンプト精度への90%の到達度を達成した。
• この手法は8つのデータセットのうち3つで最良のパフォーマンスを示すプロンプトを選択し、強力な予測能力を示した。
• 8つのデータセットおよび7つのNLPタスクにおいて、相互情報量と下流タスク精度の間に強い正の相関が観察された。
• この手法はランダム選択や平均テンプレート選択を上回り、ラベルやモデル重みへのアクセスなしに、一貫して上位に近いパフォーランスを達成した。
• MIと精度の相関は、より大きな言語モデルで最も強く、最新のモデルにスケーラブルであることが示された。
• このアプローチはブラックボックスモデルに対しても有効であり、勾配計算やモデルアクセスを一切必要とせず、推論出力のみを要する。