[論文レビュー] Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters

Boshi Wang, Sewon Min+5 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 9

ひとこと要約

この論文は、少量の例による推論におけるチェーン・オブ・トゥーク（CoT）プロンプティングの有効性をアブレーションによって調査し、デモンストレーションに論理的に誤った推論ステップが含まれても、モデルの性能が依然として高い（CoTベースラインの80–90％）ことが明らかになった。主な洞察は、論理的妥当性よりも、質問に対する関連性と推論ステップの適切な順序付けが重要であるということであり、大規模言語モデル（LLM）が真の根拠（ground-truth rationales）よりも事前に学習された推論パターンに依存している可能性を示唆している。

ABSTRACT

Chain-of-Thought (CoT) prompting can dramatically improve the multi-step reasoning abilities of large language models (LLMs). CoT explicitly encourages the LLM to generate intermediate rationales for solving a problem, by providing a series of reasoning steps in the demonstrations. Despite its success, there is still little understanding of what makes CoT prompting effective and which aspects of the demonstrated reasoning steps contribute to its performance. In this paper, we show that CoT reasoning is possible even with invalid demonstrations - prompting with invalid reasoning steps can achieve over 80-90% of the performance obtained using CoT under various metrics, while still generating coherent lines of reasoning during inference. Further experiments show that other aspects of the rationales, such as being relevant to the query and correctly ordering the reasoning steps, are much more important for effective CoT reasoning. Overall, these findings both deepen our understanding of CoT prompting, and open up new questions regarding LLMs' capability to learn to reason in context.

研究の動機と目的

• 大規模言語モデルにおける効果的な少量の例による推論のためのチェーン・オブ・トゥーク（CoT）デモンストレーションのどの要素が不可欠であるかを理解すること。
• デモンストレーションにおける推論ステップの真の論理的妥当性がモデル性能に重要であるかどうかを調査すること。
• 多段階推論タスクにおける性能向上を引き起こすCoT根拠の主な特徴を同定すること。
• 正しい推論ステップがCoTの成功に不可欠であるという仮定に疑問を呈し、フォーマットと構造の役割を検討すること。

提案手法

• 論理的妥当性、関連性、ステップ順序の各要素を系統的に変更することで、CoTデモンストレーションのアブレーション研究を実施する。
• 制御されたプロンプティング設定を設計：『論理的に誤った推論』、『一貫性なし』、『関連性なし』、『順序なし』を用い、各根拠要因の影響を隔離する。
• 2つのベンチマークタスク（算術的推論とマルチホップ的事実質問への回答）を用いて、さまざまな設定でのモデル性能を評価する。
• 正確一致（exact match）やF1スコアといった標準指標を用いて、アブレートされた設定を標準CoTおよびゼロショットベースラインと比較して性能を測定する。
• 無効なデモンストレーション下でも、モデルが生成する根拠の整合性、関連性、論理的整合性を分析する。
• 『ブリッジングオブジェクト』（例：数値、エンティティ）と『言語テンプレート』（例：関係、述語）を定義・抽出し、それらが推論に果たす役割を分析する。

実験結果

リサーチクエスチョン

• RQ1 CoTデモンストレーションにおける推論ステップの論理的妥当性が、モデル性能に顕著に影響を与えるか？
• RQ2 論理的正しさよりも、関連性や順序付けといった代替的なCoT根拠の要素が、性能向上に与える寄与度がより大きいのか？
• RQ3 無効または一貫性のないデモンストレーションを提示された場合でも、LLMは効果的な推論経路を生成できるか？
• RQ4 LLMが事前に学習した推論能力のおかげで、CoTプロンプティングにおける正確なデモンストレーションの必要性がどれほど低下するのか？
• RQ5 言語テンプレートとブリッジングオブジェクトは、少量の例設定における推論効果性にどのように連携して影響を与えるのか？

主な発見

• 算術的推論とマルチホップQAの両タスクにおいて、完全に無効な推論ステップを含むデモンストレーションでも、標準CoTの80–90％の性能を達成している。
• 論理的に誤った推論であっても、モデルは質問に関連し、推論中に論理的な流れを保つ一貫性のある段階的根拠を生成する。
• 推論ステップの質問に対する関連性と正しい順序付けが、推論プロセスの論理的妥当性よりも性能に大きく寄与している。
• CoTプロンプティング下でのモデルの効果的な推論能力は、主に事前に学習された推論能力に起因しており、デモンストレーションは主に出力フォーマットと構造の正規化に寄与している。
• 言語テンプレートとブリッジングオブジェクトは不可欠な要素であるが、その正確さよりも存在と質問への適切な整合性のほうが重要である。
• これらの発見は、CoTプロンプティングが正しい推論を教える仕組みではなく、フォーマットの正規化メカニズムとして機能している可能性を示唆し、イン・コンテキスト学習に関する仮定に疑問を呈する。