[论文解读] Making Reasoning Matter: Measuring and Improving Faithfulness of Chain-of-Thought Reasoning

Debjit Paul, Robert West+2 more|arXiv (Cornell University)|Feb 21, 2024

Complex Systems and Decision MakingDecision Sciences被引用 3

一句话总结

本文提出了 Frodo，一种通过训练小规模语言模型生成正确推理步骤并利用隐式反馈和因果偏好目标对这些步骤进行稳健推理的框架，从而提升思维链（CoT）推理的忠实度。Frodo 在强基线模型上实现了 2–3% 的绝对准确率提升，并在分布外推理任务中展现出更优的鲁棒性和泛化能力。

ABSTRACT

Large language models (LLMs) have been shown to perform better when asked to reason step-by-step before answering a question. However, it is unclear to what degree the model's final answer is faithful to the stated reasoning steps. In this paper, we perform a causal mediation analysis on twelve LLMs to examine how intermediate reasoning steps generated by the LLM influence the final outcome and find that LLMs do not reliably use their intermediate reasoning steps when generating an answer. To address this issue, we introduce FRODO, a framework to tailor small-sized LMs to generate correct reasoning steps and robustly reason over these steps. FRODO consists of an inference module that learns to generate correct reasoning steps using an implicit causal reward function and a reasoning module that learns to faithfully reason over these intermediate inferences using a counterfactual and causal preference objective. Our experiments show that FRODO significantly outperforms four competitive baselines. Furthermore, FRODO improves the robustness and generalization ability of the reasoning LM, yielding higher performance on out-of-distribution test sets. Finally, we find that FRODO's rationales are more faithful to its final answer predictions than standard supervised fine-tuning.

研究动机与目标

• 探究大规模语言模型（LLMs）是否可靠地利用其中间推理步骤来生成最终答案。
• 诊断思维链（CoT）推理中缺乏忠实度的问题，即推理步骤并未对最终输出产生因果影响。
• 开发一种方法，确保推理步骤既正确，又在生成答案时被忠实使用。
• 在标准监督微调之外，提升蒸馏推理模型的鲁棒性和泛化能力。

提出的方法

• 通过因果中介分析，测量在三个推理任务上 12 个 LLM 中，推理步骤（中介变量）对最终答案（结果）的因果影响。
• 使用 LLM 生成偏好数据，构建事实性与反事实性推理链，用于训练过程中的隐式反馈。
• 使用直接偏好优化（DPO）训练推理模块，使其更倾向于选择正确推理链而非反事实推理链。
• 设计一个推理模块，通过反事实和因果偏好目标进行训练，以确保推理步骤被忠实使用。
• 使用经过 DPO 和因果偏好排序微调的小规模语言模型，从大模型中蒸馏出可靠的 CoT 推理。
• 在四个推理基准（Quarel、StrategyQA、OpenBookQA、QASC）上评估 Frodo，涵盖多种模型规模及消融实验。

Figure 1: An example of our proposed causal analysis to measure the faithfulness of the final output with respect to the CoT generated by the model. We perturbed CoT rationales and studied the causal impact on the model’s behaviour.

实验结果

研究问题

• RQ1 LLMs 在生成最终答案时，对其自身生成的推理步骤在多大程度上表现出因果依赖？
• RQ2 为何许多 LLM 会生成看似合理但不忠实的推理轨迹，且这些推理步骤并不影响其最终预测？
• RQ3 能否利用 LLM 的隐式反馈来训练小型模型，使其生成正确且具有因果相关性的推理步骤？
• RQ4 如何训练推理模块，以确保其忠实使用中间推理步骤来提升答案准确率？
• RQ5 与标准蒸馏方法相比，Frodo 是否能在分布外推理样本上提升泛化能力和鲁棒性？

主要发现

• 因果中介分析显示，指令微调模型（如 GPT-3.5-Instruct）的推理步骤对最终答案的因果影响强于强化学习人类反馈微调模型（如 ChatGPT）。
• 当给出被扰动的反事实推理链时，GPT-4 仅在 30% 的情况下改变其最终答案，表明其对推理步骤的忠实度较弱。
• Frodo 在强基线模型上实现了 2–3% 的绝对准确率提升，包括监督微调和 CoT 蒸馏方法。
• Frodo 在分布外测试集上展现出更优的鲁棒性和泛化能力，优于标准蒸馏方法在 OOD 设置下的表现。
• 与标准监督微调相比，Frodo 生成的推理理由在与最终预测的相关性上显著更忠实。
• 该框架的性能对 LLM 生成的反事实推理理由的质量敏感，凸显其对外部模型输出的依赖性。

Figure 2: Causal graph for natural language reasoning, where we model $P(Y|do(x))$ . $X_{0}$ = original reasoning problem, $X_{1}$ = intervened reasoning problem, $R_{0}$ = reasoning steps for $X_{0}$ reasoning problem, $R_{1}$ = reasoning steps for $X_{1}$ , $Y$ = output, and $M$ = model parameters