[论文解读] Faithful Reasoning Using Large Language Models

Antonia Creswell, Murray Shanahan|arXiv (Cornell University)|Aug 30, 2022

Topic Modeling被引用 38

一句话总结

本文提出一个以忠实性为驱动的推理框架（带 halter 的 Selection-Inference 以及基于价值的束搜索），能够产生可解释的推理轨迹，并在 ProofWriter 和 EntailmentBankQA 数据集上提升多步问答的表现。

ABSTRACT

Although contemporary large language models (LMs) demonstrate impressive question-answering capabilities, their answers are typically the product of a single call to the model. This entails an unwelcome degree of opacity and compromises performance, especially on problems that are inherently multi-step. To address these limitations, we show how LMs can be made to perform faithful multi-step reasoning via a process whose causal structure mirrors the underlying logical structure of the problem. Our approach works by chaining together reasoning steps, where each step results from calls to two fine-tuned LMs, one for selection and one for inference, to produce a valid reasoning trace. Our method carries out a beam search through the space of reasoning traces to improve reasoning quality. We demonstrate the effectiveness of our model on multi-step logical deduction and scientific question-answering, showing that it outperforms baselines on final answer accuracy, and generates humanly interpretable reasoning traces whose validity can be checked by the user.

研究动机与目标

• 在大型语言模型（LLMs）中说明需要可解释、忠实的多步推理的动机。
• 开发一个正向链式的架构（Selection-Inference），使其推理轨迹体现逻辑有效性。
• 引入一个 halting 机制，以基于推理轨迹而非模型先验来决定何时停止并输出答案。
• 结合值函数引导的束搜索，以寻找高质量的推理轨迹。
• 在推理数据集上评估系统，以展示最终答案准确性和轨迹有效性的提升。

提出的方法

• 两种经过微调的语言模型（LMs）构成骨架：一个 Selection 模型和一个 Inference 模型，形成一系列推理步骤。
• 一个 halter LM 在每一步之后决定当前推理是否足以回答，只有在依赖推理轨迹时才返回答案。
• 一个值函数 LM 对部分轨迹进行评分，以引导对推理轨迹的束搜索，选择前若干条轨迹继续。
• 从上下文中通过句子标签选择陈述以防止幻觉；推理步骤从所选陈述中预测一个蕴涵。
• 推理轨迹被定义并在逻辑蕴涵的有效性、连贯性和正确性方面进行评估。
• 系统使用两阶段的 Halter，在推理轨迹不足时输出 Unknown；否则产生答案。
• 束搜索通过扩展 P 个候选步骤来探索轨迹树，并在每个深度裁剪为前 B 条轨迹。

实验结果

研究问题

• RQ1 带有选择和推理步骤的正向链推理系统是否能够产生有效、可检查的推理轨迹？
• RQ2 halting 机制是否通过基于轨迹充分性输出 Answer 或 Unknown 来提高精确性？
• RQ3 以值函数引导的束搜索是否在最终答案准确性和轨迹质量方面优于基线？
• RQ4 相较于先前的方法，忠实的轨迹是否能减少幻觉并改善对上下文的利用？

主要发现

• SI+Halter+Search 配置在 PW（88.1%）和 EB（78.1%）上相对于基线获得较高的最终答案准确性。
• SI 相较基线产生更高质量的推理轨迹，在 EntailmentBankQA 和 ProofWriter 数据集上对虚假事实的 halting 率更低。
• halter 能可靠地预测何时知晓答案，从而实现对 Unknown 情况的筛选并显著提高精确性。
• 值函数引导的束搜索提升了性能，特别是在更深层推理（PW depth-5）和带干扰项的 EB 上。
• 基线模型往往更易产生幻觉，并较少依赖所提供的上下文和轨迹；SI+Halter 展示出更好的轨迹有效性和基于轨迹的回答。