[论文解读] LAMBADA: Backward Chaining for Automated Reasoning in Natural Language

Seyed Mehran Kazemi, Najoung Kim+3 more|arXiv (Cornell University)|Dec 20, 2022

Natural Language Processing Techniques被引用 5

一句话总结

LAMBADA 通过大型语言模型（LMs）在自然语言中实现自动推理，采用一种反向链式推理方法，将推理过程分解为四个模块化、少样本提示的 LM 组件：目标分解、规则选择、事实核查和符号一致性检查。与前向链式方法相比，该方法在复杂逻辑推理任务上取得了显著的准确率提升，尤其在深层推理链任务中表现更优，同时具备更高的查询效率且更少产生虚假的证明路径。

ABSTRACT

Remarkable progress has been made on automated reasoning with natural text, by using Language Models (LMs) and methods such as Chain-of-Thought and Selection-Inference. These techniques search for proofs in the forward direction from axioms to the conclusion, which suffers from a combinatorial explosion of the search space, and thus high failure rates for problems requiring longer chains of reasoning. The classical automated reasoning literature has shown that reasoning in the backward direction (i.e. from the intended conclusion to supporting axioms) is significantly more efficient at proof-finding. Importing this intuition into the LM setting, we develop a Backward Chaining algorithm, called LAMBADA, that decomposes reasoning into four sub-modules. These sub-modules are simply implemented by few-shot prompted LM inference. We show that LAMBADA achieves sizable accuracy boosts over state-of-the-art forward reasoning methods on challenging logical reasoning datasets, particularly when deep and accurate proof chains are required.

研究动机与目标

• 为解决前向链式推理在 LMs 中存在的组合爆炸问题以及在长推理链中高失败率的局限性。
• 探究经典自动推理中常见的反向链式方法是否可被有效适配至 LMs，以实现自然语言推理。
• 开发一种模块化、少样本提示的 LMs 系统，利用反向链式推理进行证明规划，同时依赖 LMs 实现文本理解与推理。
• 提升涉及自然主义文本的演绎推理任务中的准确率与可靠性，尤其针对需要深层推理链的问题。
• 减少对虚假相关性的依赖，相比微调或隐式推理的 LMs，提升模型的鲁棒性。

提出的方法

• 将推理过程分解为四个子模块：目标分解、规则选择、事实核查和符号一致性检查，每个模块均通过少样本提示的 LMs 推理实现。
• 采用反向链式推理，从目标出发，递归地将其分解为子目标，避免前向链式推理中的组合搜索问题。
• 采用两阶段流程：第一阶段基于蕴含模式选择相关规则；第二阶段验证所选事实是否支持或与目标矛盾。
• 引入符号一致性模块，检查目标的逻辑符号与规则蕴含之间的匹配性，从而提升推理的可靠性。
• 通过迭代的事实选择与验证（见算法 3）判断某一事实是否支持、矛盾或与目标无关。
• 利用少样本提示引导每个模块，无需微调，从而实现在不同推理任务上的零样本泛化能力。

实验结果

研究问题

• RQ1 与前向链式方法相比，LM 中的反向链式推理是否能在复杂逻辑推理任务上显著提升性能？
• RQ2 与标准思维链提示相比，模块化反向链式方法是否能显著降低长推理链中的失败率？
• RQ3 少样本提示的 LMs 是否能可靠地实现反向链式推理的各个组件，如规则选择、事实验证和目标分解？
• RQ4 LAMBADA 在多大程度上避免了微调 LMs 在推理任务中常见的虚假相关性？
• RQ5 与其它基于模块化 LMs 的推理框架相比，LAMBADA 在查询效率和推理链有效性方面表现如何？

主要发现

• LAMBADA 在 ProofWriter 数据集的 ParaRules 子集上，相较于最先进前向推理方法，实现了显著的准确率提升，尤其在需要更深层次推理链的问题上表现突出。
• 与前向方法相比，LAMBADA 更有可能生成有效的推理链，后者常通过虚假或错误的证明路径得出正确结论。
• 由于其目标导向的反向链式结构，LAMBADA 的查询效率显著高于其他模块化推理方法。
• 通过聚焦于逻辑结构与一致性检查，该方法减少了对虚假相关性的依赖，从而降低了微调 LMs 常见的虚假相关性问题。
• 在自然语言推理任务中，尤其在最多 5 跳推理深度的任务中，反向链式推理比前向链式推理更有效。
• 符号一致性模块与迭代事实核查模块显著提升了推理的可靠性，并减少了证明验证中的误报。