[論文レビュー] Two Failures of Self-Consistency in the Multi-Step Reasoning of LLMs

Angelica Chen, Jason Phang+5 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿は、大規模言語モデル（LLMs）における多段階推論の過程で生じる自己整合性の2つの重要な失敗要因を特定する。それは、仮説的整合性（仮説的プロンプトに対する応答を予測すること）と構成的整合性（中間推論ステップがモデルが生成した出力に置き換えられた場合の整合性維持）である。少数の例提示精度は高いものの、GPT-3およびGPT-4モデルは両方のタイプにおいて低い整合性率を示しており、複雑な推論タスクにおける論理的信頼性の根本的な欠落を露呈している。

ABSTRACT

Large language models (LLMs) have achieved widespread success on a variety of in-context few-shot tasks, but this success is typically evaluated via correctness rather than consistency. We argue that self-consistency is an important criteria for valid multi-step reasoning in tasks where the solution is composed of the answers to multiple sub-steps. We propose two types of self-consistency that are particularly important for multi-step reasoning -- hypothetical consistency (a model's ability to predict what its output would be in a hypothetical other context) and compositional consistency (consistency of a model's final outputs when intermediate sub-steps are replaced with the model's outputs for those steps). We demonstrate that multiple variants of the GPT-3/-4 models exhibit poor consistency rates across both types of consistency on a variety of tasks.

研究の動機と目的

• LLMsにおける有効な多段階推論に不可欠な2つの新しい自己整合性のタイプを特定・形式化すること：仮説的整合性と構成的整合性。
• GPT-3 や GPT-4 といった最先端の LLM が、これらの新しい変換に対して整合性を保っているかどうかを調査すること。
• 中間ステップが関与する多段階推論タスクにおいて、正しさと整合性の関係を評価すること。
• 標準ベンチマークで高い正確性を示すにもかかわらず、構成的および仮説的プロンプトの変化に対して論理的に一般化できない現在の LLM の限界を強調すること。
• 正確な最終回答が得られている場合でも、複雑な推論において整合性が低いことが、LLM の出力の信頼性を損なうという実証的証拠を提供すること。

提案手法

• 仮説的整合性を、モデルが仮説的文脈（例：「<プロンプト>に対するあなたの応答は何か？」）下で自身の応答を予測できる能力として定義する。
• 構成的整合性を、中間推論ステップがモデル自身が生成した出力に置き換えられた場合に、出力を一貫して維持できる能力として定義する。
• 変換されたプロンプトが意味を保存しているかどうかを評価するため、意味的同等性（~）を形式化する。これにより、変換間での一貫性評価が可能になる。
• 決定論的な出力を保証するため、グリーディデコードを用いてモデルの出力を生成する：$ g_{p_ heta}(c) = \text{arg}\text{max}_v p_\theta(y=v|c; \tilde{y}_{<t}) $。
• 意味的同等性を用いて一致を判断することで、元のプロンプトと変換済みプロンプト（仮説的および構成的）の間でモデル出力を比較し、整合性を評価する。
• 複数のタスクおよびモデルバージョン（例：davinci-001, curie, ada, GPT-3.5, GPT-4）を対象に実証的評価を実施し、両方の変換タイプにおける整合性率を測定する。

Figure 1 : An overview of the two types of self-consistency failures we identify in LLMs.

実験結果

リサーチクエスチョン

• RQ1 LLMs は、異なるモデル間で、直接与えられていないプロンプトに対する自身の応答を予測できる程度（仮説的整合性）はどの程度保持しているか？
• RQ2 中間推論ステップがモデル自身の出力に置き換えられた場合、LLMs は構成的整合性をどの程度維持できるか？
• RQ3 多段階推論タスクにおいて、正しさと構成的整合性の間に相関関係があるか？
• RQ4 より大きな LLM は、仮説的および構成的変換の両方において、より高い自己整合性を示すか？
• RQ5 標準ベンチマークで高い正確性を示すにもかかわらず、なぜ LLM は構成的タスクにおいて論理的に一般化できないのか？

主な発見

• GPT-3 および GPT-4 モデルは、平均してテストされたタスク全体で 50% 未満の仮説的整合性率を示しており、仮説的文脈下での自身の応答予測能力が著しく低いことが示された。
• 構成的整合性についても、モデル全体で低く、タスクやモデルサイズに応じて 30% から 60% の範囲で整合性率が変動しており、中間ステップをモデル生成出力に置き換えると、最終的な答えが一貫しなくなる傾向があることが明らかになった。
• 正しさと構成的整合性の間に顕著な線形関係が存在するが、モデルは一貫性よりも常に正しさが高い傾向にあり、中間推論が一貫していない場合でも最終的な答えが正しいことがあることが示唆された。
• より大きなモデル（例：davinci-001）は、より小さなモデル（例：ada）よりも高い整合性率を示しており、スケーリングによって自己整合性の失敗が改善されるものの、完全に解消されないことがわかった。
• 構成的整合性の失敗は、トークン化や言い換えの問題に起因するのではなく、最終的な答えが正しくても、推論チェーン全体にわたる内部の一貫性を維持できないことが原因である。
• 本研究は、標準ベンチマークで高い正確性を示すからといって、論理的信頼性があるとは限らないことを明らかにした。モデルは全体として正しくても、中間段階や変換済みの推論経路での整合性チェックに失敗することがある。

Figure 2 : Hypothetical consistency rates on multiple-choice self-knowledge prompts for the Wikipedia and DailyDialog datasets, across the four GPT-3 model sizes. Each line is the average taken across all $k$ -shot prompts, for $k\in[1,\cdots,10]$ . The shaded region represents the 95% confidence in