[論文レビュー] How Likely Do LLMs with CoT Mimic Human Reasoning?

Guangsheng Bao, Hongbo Zhang+3 more|arXiv (Cornell University)|Feb 25, 2024

Auction Theory and ApplicationsDecision Sciences被引用数 3

ひとこと要約

この論文は、大規模言語モデル（LLM）におけるChain-of-Thought（CoT）が、人間の因果的推論を真正に模倣しているかどうかを、構造的因果モデル（SCM）を用いて因果構造を分析することで調査する。LLMはしばしば誤ったCoTを経由して正しい答えを導くことが判明し、これは非因果的推論を示している。干渉分析により、事前学習や微調整が、指示と答えの因果関係を顕著に変化させることを明らかにしたが、CoTの因果的影響は弱く、LLMと人間の推論プロセスに根本的な隔たりがあることが露呈された。

ABSTRACT

Chain-of-thought emerges as a promising technique for eliciting reasoning capabilities from Large Language Models (LLMs). However, it does not always improve task performance or accurately represent reasoning processes, leaving unresolved questions about its usage. In this paper, we diagnose the underlying mechanism by comparing the reasoning process of LLMs with humans, using causal analysis to understand the relationships between the problem instruction, reasoning, and the answer in LLMs. Our empirical study reveals that LLMs often deviate from the ideal causal chain, resulting in spurious correlations and potential consistency errors (inconsistent reasoning and answers). We also examine various factors influencing the causal structure, finding that in-context learning with examples strengthens it, while post-training techniques like supervised fine-tuning and reinforcement learning on human feedback weaken it. To our surprise, the causal structure cannot be strengthened by enlarging the model size only, urging research on new techniques. We hope that this preliminary study will shed light on understanding and improving the reasoning process in LLM.

研究の動機と目的

• 大規模言語モデル（LLM）におけるChain-of-Thought（CoT）が、人間と同様に真正の因果的推論を反映しているかどうかを調査すること。
• 構造的因果モデル（SCM）を用いて、LLMにおけるCoT、指示、答えの間の因果構造を同定すること。
• LLMにおける暗示的なSCMと人間の推論におけるSCMを比較し、その相違点を明らかにすること。
• 事前学習や微調整、強化学習による人間のフィードバック（RLHF）といったトレーニング技術が、LLM推論の因果構造にどのように影響するかを調査すること。
• LLM推論エラーを予測・説明できる因果分析フレームワークを構築すること。

提案手法

• 著者らは、介入ベースの因果分析を用い、LLMにおいてCoTまたは指示が答えを直接引き起こすかどうかをテストした。一方を固定した状態で、CoTおよび指示に介入を加えた。
• 複数のタスクとモデルにおけるLLM出力から推定された構造的因果モデル（SCM）を構築・比較し、暗示的な因果構造を同定した。
• 制御された介入を実施：CoTをゴールデン（正解）またはランダムな推論に置き換え、指示の役割やバイアスを変更して、答えの正確性に対する処置効果を測定した。
• 統計的有意性検定を用いて、6つの推論タスク（例：GSM8K、LogiQA、FOLIO）と4つのLLM（Llama2、GPT-3.5-Turbo、GPT-4、Mistral-7B）に適用した分析結果を統合した。
• 処置効果のシフトを因果方向の指標として用い、因果影響のパターンに基づいて、暗示的なSCMのタイプを分類した。
• 事前文脈学習（ICL）、教師あり微調整（SFT）、RLHFが因果構造に与える影響を、モデル変種間の介入ベース比較によって評価した。

Figure 1: CoT and Answer do not fully align. Refer to Figure 4 in Appendix C for instances and Section 4 for a thorough explanation.

実験結果

リサーチクエスチョン

• RQ1 正しいChain-of-Thought（CoT）が、LLMにおいてどれほど信頼的に正しい答えを導くのか。
• RQ2 人間の推論と同様に、LLMにおいてCoTと最終的な答えの間に直接的な因果関係があるのか。
• RQ3 事前文脈学習、SFT、RLHFといったトレーニング技術が、LLMにおける指示と答えの因果構造にどのように影響するか。
• RQ4 LLMにおける暗示的なSCMは、人間の推論におけるSCMとどのように比較できるか。また、どこで乖離しているか。
• RQ5 因果構造分析は、LLMの推論エラーを予測または説明できるか。

主な発見

• LLMは、誤ったCoTを経由して正しい答えを導くことが頻繁にあり、逆に正しいCoTを経由しても誤った答えを導くことがある。これは、CoTが推論の質の信頼できる指標ではないことを示している。
• 介入分析により、事前文脈学習（ICL）が、特に加法および乗法タスクにおいて、指示と答えの因果構造を顕著に変化させることを明らかにした。
• 教師あり微調整（SFT）およびRLHFは、指示と答えの因果関係に強く影響を与えるが、CoTから答えへの因果的リンクにはほとんど影響を及ぼさない。
• LLMにおける暗示的なSCMは、人間の推論で見られる因果的一貫性を欠いており、CoTが頻繁に答えの真の原因ではないことが判明した。
• 大規模モデル（例：Llama2-70B-Chat）は、より最適なSCMタイプに近づく傾向があることから、スケーリングが因果的整合性の向上に寄与する可能性がある。
• 本研究では、事前学習データに由来する誤った相関関係が、非因果的推論を引き起こす要因であることを同定した。この場合、CoTは予測可能に見えるが、答えの因果的要因ではない。

Figure 2: LLMs with CoT exhibit inconsistent effects, where the CoT shows inferior performance to Direct in the tasks on the left but superior performance in the tasks on the right in a zero-shot setting. A more comprehensive set of results can be found in Table 6 in Appendix C . (The Addition resul