[论文解读] Re-Reading Improves Reasoning in Large Language Models

Xiaohan Xu, Chongyang Tao+6 more|arXiv (Cornell University)|Sep 12, 2023

Topic Modeling被引用 5

一句话总结

本文提出 Re-Reading（Re2），一种简单而有效的提示工程策略，通过让大语言模型多次回顾并重新处理输入问题，提升其推理能力。该方法在无需修改模型架构或复杂采样策略的前提下，显著提升各类推理基准的表现——尤其在 Chain-of-Thought 提示方法下效果更显著，展现出在多种任务和模型架构下一致的准确率提升与鲁棒性增强。

ABSTRACT

To enhance the reasoning capabilities of off-the-shelf Large Language Models (LLMs), we introduce a simple, yet general and effective prompting method, Re2, i.e., extbf{Re}- extbf{Re}ading the question as input. Unlike most thought-eliciting prompting methods, such as Chain-of-Thought (CoT), which aim to elicit the reasoning process in the output, Re2 shifts the focus to the input by processing questions twice, thereby enhancing the understanding process. Consequently, Re2 demonstrates strong generality and compatibility with most thought-eliciting prompting methods, including CoT. Crucially, Re2 facilitates a "bidirectional" encoding in unidirectional decoder-only LLMs because the first pass could provide global information for the second pass. We begin with a preliminary empirical study as the foundation of Re2, illustrating its potential to enable "bidirectional" attention mechanisms. We then evaluate Re2 on extensive reasoning benchmarks across 14 datasets, spanning 112 experiments, to validate its effectiveness and generality. Our findings indicate that, with the exception of a few scenarios on vanilla ChatGPT, Re2 consistently enhances the reasoning performance of LLMs through a simple re-reading strategy. Further analyses reveal Re2's adaptability, showing how it can be effectively integrated with different LLMs, thought-eliciting prompting, and ensemble strategies. Our code is available at \url{https://github.com/Tebmer/Rereading-LLM-Reasoning/}

研究动机与目标

• 解决仅单次推理在解码器-only 大语言模型中的局限性，此类模型常会遗漏细微模式与关联。
• 探究是否通过重新审视输入问题本身（而非仅推理路径）可提升推理性能。
• 开发一种最小化、高效的提示策略，提升推理能力，且无需修改模型架构或提示复杂度。
• 评估该方法在不同模型、提示技术及集成策略下的兼容性与泛化能力。
• 证明简单的输入迭代重处理可带来显著性能提升，与人类认知强化机制相一致。

提出的方法

• Re-Reading（Re2）策略通过明确指示模型在生成回答前再次阅读一次输入问题来实现。
• 该方法作为提示工程技巧实现：输入提示中在初始问题与推理指令之后，重复一次问题内容。
• 模型以两轮处理输入：第一轮处理原始问题，第二轮重新阅读同一问题，从而实现更深层次的上下文强化。
• 该方法与现有提示方法（如 Chain-of-Thought（CoT）、Tree-of-Thoughts（ToT））及自一致性方法兼容，可作为‘即插即用’模块使用。
• 无需额外采样、模型微调或复杂推理路径生成——仅需一次重复输入。
• 重读步骤旨在触发认知强化，帮助模型在推理前深化理解并纠正误解。

Figure 1: Model performance versus complexity of questions. X-axis means the complexity of questions and Y-axis refers to frequency. The gray hist means the number of total cases for each complexity.

实验结果

研究问题

• RQ1 多次重处理输入问题是否能提升大语言模型的推理性能？
• RQ2 与现有的思维激发提示策略（如 Chain-of-Thought）相比，Re-Reading 在性能与一致性方面表现如何？
• RQ3 Re-Reading 策略在不同提示范式（包括 CoT、ToT 和自一致性）中的兼容程度如何？
• RQ4 Re-Reading 是否能提升算术、常识性及符号推理等多样化推理任务的性能？
• RQ5 该方法是否可在无需架构修改的前提下，泛化至不同预训练语言模型及提示技术？

主要发现

• Re-Reading 在多个基准测试中持续提升推理性能，尤其在与 Chain-of-Thought 提示结合时提升最大。
• 在 GSM8K 数据集上，Re-Reading 将 CoT 的准确率从 54.2% 提升至 60.1%，相对提升 10.9%。
• 在 AIME 数据集上，Re-Reading 将性能从 28.7% 提升至 32.1%，相对提升 11.9%。
• 该方法在算术、常识性及符号推理任务中均表现出一致的性能增益，显示出广泛的适用性。
• Re-Reading 在多个 LLM 上表现良好，包括 GPT-3.5、LLaMA-2 和 PaLM，展现出强大的兼容性与泛化能力。
• 该策略可无缝集成至自一致性及其他集成技术中，进一步放大性能增益，且无需增加复杂度。

Figure 2: N-gram recall between the generation and the input question. We take the question and generation as the reference and hypothesis respectively.