[論文レビュー] Prompting is not a substitute for probability measurements in large language models

Jennifer J. Hu, Roger Lévy|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、メタ言語的プロンプト（自然言語によるクエリを用いて言語モデルの知識を評価する手法）が、モデルのログイットから得られる直接的な確率測定に比べて、正確性も一貫性の面でも劣ることを示している。著者らは、LLMのプロンプトに対する反応が、しばしばその真の内部確率分布から乖離しており、言語的評価において直接測定の代替手段としてのプロンプトの有効性を損なっていることを明らかにした。

ABSTRACT

Prompting is now a dominant method for evaluating the linguistic knowledge of large language models (LLMs). While other methods directly read out models' probability distributions over strings, prompting requires models to access this internal information by processing linguistic input, thereby implicitly testing a new type of emergent ability: metalinguistic judgment. In this study, we compare metalinguistic prompting and direct probability measurements as ways of measuring models' linguistic knowledge. Broadly, we find that LLMs' metalinguistic judgments are inferior to quantities directly derived from representations. Furthermore, consistency gets worse as the prompt query diverges from direct measurements of next-word probabilities. Our findings suggest that negative results relying on metalinguistic prompts cannot be taken as conclusive evidence that an LLM lacks a particular linguistic generalization. Our results also highlight the value that is lost with the move to closed APIs where access to probability distributions is limited.

研究の動機と目的

• メタ言語的プロンプトが、大規模言語モデル（LLM）の言語的知識を信頼性を持って測定できるかどうかを評価すること。
• モデルのログイットから得られる直接的な確率測定と比較して、メタ言語的プロンプトの正確性と一貫性を検証すること。
• 内部確率分布へのアクセスが制限されるクローズドAPIに依存するリスクを浮き彫りにすること。
• 科学的評価において、直接測定の代替手段としてプロンプトを使用すべきではないという主張をすること。

提案手法

• 本研究では、モデルのログイットからP(token|context)を抽出する直接的な確率測定と、言語的妥当性や可能性について自然言語でクエリを投げるメタ言語的プロンプトを比較した。
• 主に、主語・動詞の一致、関係節の接続、意味的妥当性といった多様な言語的分野をカバーする4つの実験を実施した。
• 各タスクにおいて、メタ言語的プロンプト（例：「次に最も可能性の高い単語は何ですか？」）へのモデルの反応を、候補となる完成形の真の確率分布と比較した。
• GPT-3、GPT-3.5、LLaMAなど、さまざまなモデルを用いてゼロショットプロンプトと直接的なログイットアクセスを実施し、方法論の整合性を確保した。
• 両手法における候補完成形の順位付けの一致度を測定することで、プロンプトと直接測定の間の一貫性を定量化した。
• すべての実験は、複数のモデルとプロンプトで繰り返され、コードとデータは公開された。

(a)

実験結果

リサーチクエスチョン

• RQ1 メタ言語的プロンプトの反応は、LLMの内部表現の直接的確率測定に比べて、どの程度正確に言語的知識を反映しているか？
• RQ2 プロンプトの構造が直接的な確率クエリからどれほど逸脱しているかに応じて、メタ言語的プロンプトと直接的確率測定の間の一貫性はどの程度影響を受けるか？
• RQ3 メタ言語的プロンプトにおけるモデルのパフォーマンスは、真の言語的習得能力を反映しているのか、それとも出現的なパフォーマンス関連の能力に過ぎないのか？
• RQ4 プロンプトによる否定的結果（例：文法的に正しい構造を拒否すること）は、LLMが特定の言語的一般化を欠いている証拠と解釈できるか？
• RQ5 クローズドAPIにより内部確率分布へのアクセスが失われた場合、言語的評価の妥当性はどの程度損なわれるか？

主な発見

• メタ言語的プロンプトは、とりわけ希少または複雑な言語的パターンに対して、直接的確率測定に比べて著しく正確性に欠ける評価を生じる。
• プロンプトの構造が直接的な確率クエリから逸脱するほど、メタ言語的プロンプトと直接的確率測定の間の一貫性は低下する。
• モデルは内部確率分布が明確にそのトークンを優先している場合でさえ、プロンプトタスクにおいて最も可能性の高い次に来る単語を正しく報告できないことがしばしばある。
• プロンプトと直接測定の乖離は、モデルの表現能力の制限によるものではなく、むしろメタ言語的クエリ下での内部知識のアクセスと報告の能力の欠如に起因する。
• 本研究では、否定的結果（例：文法的に正しい構造を拒否）が、言語的無知である証拠とされるべきではないことを示した。
• 著者らは、モデル内部へのアクセスが制限されている状況では、科学的調査においてプロンプトを直接測定の代替手段として使用すべきではないと結論づけた。

(b)