[论文解读] How Likely Do LLMs with CoT Mimic Human Reasoning?

Guangsheng Bao, Hongbo Zhang+3 more|arXiv (Cornell University)|Feb 25, 2024

Auction Theory and ApplicationsDecision Sciences被引用 3

一句话总结

本文通过结构因果模型（SCMs）分析因果结构，探究大语言模型（LLMs）中的思维链（CoT）是否真正模拟了人类的因果推理。研究发现，LLMs 经常通过错误的 CoT 得到正确答案，表明其推理并非因果性；干预实验显示，上下文学习（in-context learning）和微调显著改变了指令与答案之间的因果关系，而 CoT 的因果影响微弱，暴露出 LLM 与人类推理过程之间的根本性差异。

ABSTRACT

Chain-of-thought emerges as a promising technique for eliciting reasoning capabilities from Large Language Models (LLMs). However, it does not always improve task performance or accurately represent reasoning processes, leaving unresolved questions about its usage. In this paper, we diagnose the underlying mechanism by comparing the reasoning process of LLMs with humans, using causal analysis to understand the relationships between the problem instruction, reasoning, and the answer in LLMs. Our empirical study reveals that LLMs often deviate from the ideal causal chain, resulting in spurious correlations and potential consistency errors (inconsistent reasoning and answers). We also examine various factors influencing the causal structure, finding that in-context learning with examples strengthens it, while post-training techniques like supervised fine-tuning and reinforcement learning on human feedback weaken it. To our surprise, the causal structure cannot be strengthened by enlarging the model size only, urging research on new techniques. We hope that this preliminary study will shed light on understanding and improving the reasoning process in LLM.

研究动机与目标

• 探究大语言模型（LLMs）中的思维链（CoT）是否真正反映了类似于人类的因果推理。
• 利用结构因果模型（SCMs）识别 LLM 中 CoT、指令与答案之间的因果结构。
• 将 LLM 中隐含的 SCMs 与人类推理中的 SCMs 进行比较，突出其差异。
• 研究训练技术（如上下文学习、监督微调和强化学习人类反馈（RLHF））如何影响 LLM 推理的因果结构。
• 构建因果分析框架，以预测和解释 LLM 的推理错误。

提出的方法

• 作者采用基于干预的因果分析，测试 CoT 或指令是否在 LLM 中直接导致答案，通过干预 CoT 和指令并保持另一变量恒定来检验。
• 他们构建并比较了从多个任务和模型的 LLM 输出中推断出的结构因果模型（SCMs），识别出隐含的因果结构。
• 研究采用受控干预：用黄金标准或随机推理替换 CoT，以及改变指令的角色或偏置，以测量对答案准确率的处理效应。
• 分析应用于六个推理任务（如 GSM8K、LogiQA、FOLIO）和四种 LLM（Llama2、GPT-3.5-Turbo、GPT-4、Mistral-7B），并通过显著性检验汇总结果。
• 作者根据因果影响模式对隐含 SCM 类型进行分类，使用处理效应变化作为因果方向的指标。
• 他们评估了上下文学习（ICL）、监督微调（SFT）和 RLHF 对因果结构的影响，通过模型变体间的基于干预的比较进行分析。

Figure 1: CoT and Answer do not fully align. Refer to Figure 4 in Appendix C for instances and Section 4 for a thorough explanation.

实验结果

研究问题

• RQ1 在多大程度上，正确的思维链（CoT）能可靠地导致 LLM 中的正确答案？
• RQ2 LLM 中 CoT 与最终答案之间是否存在如同人类推理那样的直接因果关系？
• RQ3 上下文学习、SFT 和 RLHF 等训练技术如何影响 LLM 中指令与答案之间的因果结构？
• RQ4 LLM 中隐含的 SCMs 与人类推理中的 SCMs 相比如何？它们在何处出现分歧？
• RQ5 因果结构分析能否预测或解释 LLM 的推理错误？

主要发现

• LLMs 经常在 CoT 错误的情况下产生正确答案，或在 CoT 正确的情况下产生错误答案，表明 CoT 并非推理质量的可靠指标。
• 干预分析显示，上下文学习（ICL）显著改变了指令与答案之间的因果结构，尤其在加法和乘法等任务中表现明显。
• 监督微调（SFT）和 RLHF 对指令与答案之间的因果关系有显著影响，但对 CoT 到答案的因果联系影响甚微。
• LLM 中隐含的 SCM 通常缺乏人类推理中常见的因果一致性，CoT 频繁并非答案的真正原因。
• 更大的模型（如 Llama2-70B-Chat）往往更接近最优的 SCM 类型，表明模型规模可能提升因果对齐性。
• 本研究发现，预训练数据中的虚假相关性可能导致非因果推理，即 CoT 看似具有预测性，但并非答案的因果驱动因素。

Figure 2: LLMs with CoT exhibit inconsistent effects, where the CoT shows inferior performance to Direct in the tasks on the left but superior performance in the tasks on the right in a zero-shot setting. A more comprehensive set of results can be found in Table 6 in Appendix C . (The Addition resul