[论文解读] Iteratively Prompt Pre-trained Language Models for Chain of Thought

Boshi Wang, Xiang Deng+1 more|arXiv (Cornell University)|Mar 16, 2022

Topic Modeling被引用 6

一句话总结

本文提出一种迭代式提示框架，通过在每一步动态生成上下文感知的提示，使预训练语言模型（PLMs）能够执行多步推理，在无需微调PLM的情况下提升复杂推理任务的性能。该方法在三个多跳推理数据集上显著优于现有提示方法，通过逐步的知识检索有效激发了‘思维链’。

ABSTRACT

While Pre-trained Language Models (PLMs) internalize a great amount of world knowledge, they have been shown incapable of recalling these knowledge to solve tasks requiring complex & multi-step reasoning. Similar to how humans develop a "chain of thought" for these tasks, how can we equip PLMs with such abilities? In this work, we explore an iterative prompting framework, a new prompting paradigm which progressively elicits relevant knowledge from PLMs for multi-step inference. We identify key limitations of existing prompting methods, namely they are either restricted to queries with a single identifiable relation/predicate, or being agnostic to input contexts, which makes it difficult to capture variabilities across different inference steps. We propose an iterative context-aware prompter, which addresses these limitations by learning to dynamically synthesize prompts conditioned on the current step's contexts. Experiments on three datasets involving multi-step reasoning show the effectiveness of the iterative scheme and the context-aware prompter design.

研究动机与目标

• 为了解决现有提示方法在激发预训练语言模型（PLMs）多步推理能力方面的局限性，这些方法常因提示静态或过于简单而失败。
• 开发一种轻量级、无需微调的方法，使PLMs能够回忆一系列知识事实（即‘思维链’），以应对复杂推理任务。
• 设计一种上下文感知的提示生成器，根据当前推理步骤和先前收集的证据动态合成提示，提升推理的准确性。
• 评估迭代提示在提升推理性能的同时保持模型参数完整性的有效性。
• 通过定性和定量分析，探究所学提示行为的忠实度和鲁棒性。

提出的方法

• 该方法引入一种迭代式提示框架，其中独立的上下文感知提示生成器为每一步生成特定提示，引导PLM完成多步推理。
• 在每一步中，提示生成器处理原始查询和迄今收集的证据，然后组合出一个动态提示，引导PLM回忆下一个相关事实。
• 提示生成器经过训练，能够生成上下文敏感的提示，整合先前知识，并在每一步聚焦于查询中尚未解决的部分。
• 在整个训练过程中PLM保持冻结，确保参数效率并避免灾难性遗忘。
• 提示生成器实现为一个神经网络，基于当前上下文生成自然语言提示，实现灵活且自适应的提示方式。
• 该框架通过推理链的监督信号进行端到端优化，损失函数基于最终答案计算。

实验结果

研究问题

• RQ1 与单步提示相比，迭代式提示框架是否能提升预训练语言模型的多步推理能力？
• RQ2 一种能动态适应中间推理状态的上下文感知提示生成器，对复杂推理任务的性能有何影响？
• RQ3 该迭代方案在多大程度上减少了幻觉并提升了推理链的事实一致性？
• RQ4 在多跳推理基准上，该方法与现有提示基线相比，在准确率和鲁棒性方面表现如何？
• RQ5 所学的提示行为是否可被信任并解释为忠实的思维链？

主要发现

• 该迭代式提示框架在三个多步推理数据集（包括2WikiMultiHopQA、R4C和一个科学推理数据集）上显著优于标准提示和现有基线方法。
• 上下文感知提示生成器设计相比静态提示方法取得了显著性能提升，证明了步骤特定和上下文敏感提示生成的重要性。
• 定量结果表明，与强基线相比，该方法在2WikiMultiHopQA和R4C上的精确匹配准确率最高提升15%。
• 定性分析证实，模型学会了生成连贯且忠实的推理链，提示在每一步均恰当地聚焦于未解决的查询部分。
• 即使在不微调PLM的情况下，该方法仍保持高性能，凸显其效率和与大规模冻结模型的兼容性。
• 消融研究证实，迭代结构和上下文感知提示生成均对性能至关重要，每个组件对最终结果均有显著贡献。