[论文解读] LLMs cannot find reasoning errors, but can correct them given the error location

Gladys Tyen, Hassan Mansoor+3 more|arXiv (Cornell University)|Nov 14, 2023

Software Engineering Research被引用 6

一句话总结

本文引入了 BIG-Bench Mistake 数据集，其中包含链式思维推理轨迹中的逻辑错误，并提出了一种轻量级纠错方法 backtracking，该方法利用错误位置来修复推理错误。尽管大语言模型（LLMs）在独立检测错误方面表现不佳，但当提供错误位置时，backtracking 方法在保留任务上实现了高达 +22.59% 的准确率提升，即使奖励模型的准确率仅为 60–70%，也证明了错误纠正的可行性。

ABSTRACT

While self-correction has shown promise in improving LLM outputs in terms of style and quality (e.g. Chen et al., 2023b; Madaan et al., 2023), recent attempts to self-correct logical or reasoning errors often cause correct answers to become incorrect, resulting in worse performances overall (Huang et al., 2023). In this paper, we show that poor self-correction performance stems from LLMs' inability to find logical mistakes, rather than their ability to correct a known mistake. Firstly, we benchmark several state-of-the-art LLMs on their mistake-finding ability and demonstrate that they generally struggle with the task, even in highly objective, unambiguous cases. Secondly, we test the correction abilities of LLMs -- separately from mistake finding -- using a backtracking setup that feeds ground truth mistake location information to the model. We show that this boosts downstream task performance across our 5 reasoning tasks, indicating that LLMs' correction abilities are robust. Finally, we show that it is possible to obtain mistake location information without ground truth labels or in-domain training data. We train a small classifier with out-of-domain data, which exhibits stronger mistake-finding performance than prompting a large model. We release our dataset of LLM-generated logical mistakes, BIG-Bench Mistake, to enable further research into locating LLM reasoning mistakes.

研究动机与目标

• 探究大语言模型是否能可靠检测其自身链式思维推理轨迹中的逻辑错误。
• 解决大语言模型在纠正推理错误时自我修正失败的问题，该问题常导致性能下降。
• 提出一种 backtracking 方法，当提供错误位置时，可提升输出纠错效果。
• 使用真实标准错误标签和模拟奖励模型，评估 backtracking 的有效性。
• 探究小型微调后的奖励模型是否能辅助错误定位，并在分布外任务上实现迁移。

提出的方法

• 作者发布了 BIG-Bench Mistake 数据集，其中包含由 PaLM 2-L-Unicorn 生成的 2,186 条 CoT 风格推理轨迹，并标注了首个逻辑错误的位置。
• 他们将自我修正过程分解为两个部分：错误定位（识别错误）和输出修正（修复错误），并将核心失败点识别为错误定位。
• 他们提出 backtracking 作为一种后处理纠错技术，重用模型自身的推理路径，仅修改从错误位置开始的步骤。
• backtracking 被视为一种“言语强化学习”形式，可在不更新权重的情况下实现迭代改进。
• 他们在四个任务上微调了一个小型 PaLM 2-XS-Otter 奖励模型，并评估其在保留任务上提升错误定位准确率的能力。
• 他们使用真实标准错误标签和不同准确率水平（如 60–70%）的模拟奖励模型，评估 backtracking 的性能。

Figure 1: Graph of mistake location accuracies for each prompting method (excluding GPT-4-Turbo which we do not have CoT step-level results for). Blue bars show accuracies on traces with no mistakes, so the model must predict that the trace has no mistake to be considered correct; orange bars show a

实验结果

研究问题

• RQ1 先进的大语言模型在无外部反馈的情况下，能否可靠检测其自身链式思维推理轨迹中的逻辑错误？
• RQ2 提供推理错误位置是否能显著提升大语言模型纠正输出的能力？
• RQ3 小型微调后的奖励模型是否能超越零样本大语言模型在错误定位任务中的表现？其性能是否能在分布外任务上泛化？
• RQ4 当错误位置由低准确率奖励模型（而非真实标准）提供时，backtracking 的有效性如何？
• RQ5 能否迭代应用 backtracking 以纠正单个推理轨迹中的多个错误？

主要发现

• 包括 PaLM 2-L-Unicorn 在内的大语言模型在错误定位任务中表现显著不佳，即使面对客观且明确的逻辑错误，准确率也极低。
• 使用真实标准错误位置的 backtracking 在原始任务上显著提升了性能，尤其在 Dyck 语言任务上准确率最高提升 +22.59%。
• 即使奖励模型准确率仅为 60–70%，backtracking 依然有效，此时准确率提升幅度已超过使用更低准确率模型的情况。
• 微调后的小型奖励模型在五项保留任务中的四项上，相比零样本基线，实现了 +11.66 至 +22.59 的绝对准确率提升。
• 奖励模型在分布外任务上表现出一定的迁移能力，表明具备泛化潜力，但性能增益在不同任务间不一致。
• 本研究识别出错误定位是自我修正中的主要瓶颈，而非输出修正；当提供错误位置时，纠错是可行的。

Figure 2: $\Delta$ accuracy ${}_{\text{\char 51}}$ and $\Delta$ accuracy ${}_{\text{\char 55}}$ on each dataset as accuracy RM increases.