[论文解读] Two Failures of Self-Consistency in the Multi-Step Reasoning of LLMs

Angelica Chen, Jason Phang+5 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用 6

一句话总结

本文识别出大语言模型（LLMs）在多步推理过程中自一致性存在的两个关键缺陷：假设一致性（预测模型对假设性提示的响应）和组合一致性（当中间推理步骤被模型生成的输出替换时仍保持一致性）。尽管少样本准确率表现强劲，GPT-3 和 GPT-4 模型在两种类型上的一致性率均较低，暴露出其在复杂推理任务中逻辑可靠性的根本性缺陷。

ABSTRACT

Large language models (LLMs) have achieved widespread success on a variety of in-context few-shot tasks, but this success is typically evaluated via correctness rather than consistency. We argue that self-consistency is an important criteria for valid multi-step reasoning in tasks where the solution is composed of the answers to multiple sub-steps. We propose two types of self-consistency that are particularly important for multi-step reasoning -- hypothetical consistency (a model's ability to predict what its output would be in a hypothetical other context) and compositional consistency (consistency of a model's final outputs when intermediate sub-steps are replaced with the model's outputs for those steps). We demonstrate that multiple variants of the GPT-3/-4 models exhibit poor consistency rates across both types of consistency on a variety of tasks.

研究动机与目标

• 识别并形式化大语言模型中多步推理有效性的两种新类型自一致性：假设一致性和组合一致性。
• 研究最先进的大语言模型（如 GPT-3 和 GPT-4）在这些新变换下是否保持一致性。
• 评估多步推理任务中正确性与一致性的关系，特别是当涉及中间步骤时。
• 强调当前大语言模型在组合性和假设性提示变化下逻辑泛化能力的局限性，尽管其在标准基准测试中表现优异。
• 提供实证证据表明，即使最终答案正确，低一致性也会削弱大语言模型在复杂推理中的输出可靠性。

提出的方法

• 将假设一致性定义为模型在假设性情境下预测其自身对提示响应的能力，例如‘如果你被问到<prompt>，你的回答会是什么？’
• 将组合一致性定义为模型在用其自身生成的输出替换中间推理步骤时，仍能保持一致输出的能力。
• 形式化语义等价性（~）以评估转换后的提示是否保持语义一致性，从而实现在不同变换间的一致性评估。
• 使用贪婪解码生成模型输出：$ g_{p_ heta}(c) = \text{arg}\text{max}_v p_\theta(y=v|c; \tilde{y}_{<t}) $，确保输出的确定性以支持一致性评估。
• 通过比较原始提示与转换后提示的模型输出来评估一致性，使用语义等价性判断输出是否匹配。
• 在多个任务和模型变体（如 davinci-001、curie、ada、GPT-3.5、GPT-4）上进行实证评估，测量两种转换类型下的一致性率。

Figure 1 : An overview of the two types of self-consistency failures we identify in LLMs.

实验结果

研究问题

• RQ1 大语言模型在不同模型之间，在多大程度上能维持假设一致性——即预测其对未直接给出的提示的响应？
• RQ2 当用模型自身输出替换中间推理步骤时，大语言模型在多大程度上能保持组合一致性？
• RQ3 在多步推理任务中，正确性与组合一致性之间是否存在相关性？
• RQ4 更大的大语言模型是否在假设和组合变换下均表现出更好的自一致性？
• RQ5 为何大语言模型在标准基准测试中准确率高，却在组合任务中无法实现逻辑泛化？

主要发现

• GPT-3 和 GPT-4 模型表现出较低的假设一致性，平均一致性率低于 50%，表明其在假设性情境下预测自身响应的能力较差。
• 组合一致性在各类模型中同样较低，一致性率在 30% 至 60% 之间波动，具体取决于任务和模型规模，表明用模型生成输出替换中间步骤常导致最终答案不一致。
• 正确性与组合一致性之间存在显著的线性关系，但模型的正确率始终高于一致性率，表明即使中间推理不一致，最终答案仍可能正确。
• 更大的模型（如 davinci-001）的一致性率高于较小模型（如 ada），表明规模虽能提升一致性，但无法完全消除自一致性缺陷。
• 组合一致性失败并非单纯由分词或改写引起，而是源于模型在推理链中无法维持内部一致性，即使最终答案正确。
• 本研究揭示，标准基准测试中高准确率并不意味着逻辑可靠性，因为模型可能整体正确，却在中间或转换后的推理路径上一致性检查失败。

Figure 2 : Hypothetical consistency rates on multiple-choice self-knowledge prompts for the Wikipedia and DailyDialog datasets, across the four GPT-3 model sizes. Each line is the average taken across all $k$ -shot prompts, for $k\in[1,\cdots,10]$ . The shaded region represents the 95% confidence in