[论文解读] Faithful Logical Reasoning via Symbolic Chain-of-Thought

Jundong Xu, Fei Hao+4 more|arXiv (Cornell University)|May 28, 2024

Logic, Reasoning, and Knowledge被引用 4

一句话总结

本文提出 SymbCoT，一种完全基于大语言模型（LLM）的框架，通过在思维链（Chain-of-Thought）提示中整合符号表达式与逻辑规则，增强逻辑推理能力。该框架将自然语言转化为一阶逻辑，运用符号推理规则进行推导，并对结果进行验证，在五个数据集上实现了最先进性能，显著提升了逻辑推理任务中的忠实度、灵活性与可解释性。

ABSTRACT

While the recent Chain-of-Thought (CoT) technique enhances the reasoning ability of large language models (LLMs) with the theory of mind, it might still struggle in handling logical reasoning that relies much on symbolic expressions and rigid deducing rules. To strengthen the logical reasoning capability of LLMs, we propose a novel Symbolic Chain-of-Thought, namely SymbCoT, a fully LLM-based framework that integrates symbolic expressions and logic rules with CoT prompting. Technically, building upon an LLM, SymbCoT 1) first translates the natural language context into the symbolic format, and then 2) derives a step-by-step plan to solve the problem with symbolic logical rules, 3) followed by a verifier to check the translation and reasoning chain. Via thorough evaluations on 5 standard datasets with both First-Order Logic and Constraint Optimization symbolic expressions, SymbCoT shows striking improvements over the CoT method consistently, meanwhile refreshing the current state-of-the-art performances. We further demonstrate that our system advances in more faithful, flexible, and explainable logical reasoning. To our knowledge, this is the first to combine symbolic expressions and rules into CoT for logical reasoning with LLMs. Code is open at https://github.com/Aiden0526/SymbCoT.

研究动机与目标

• 解决标准思维链在处理依赖符号表达式的精确、规则化逻辑推理时的局限性。
• 克服现有大语言模型-符号集成方法对外部符号求解器的依赖，从而提升灵活性与可解释性。
• 开发一种完全端到端的大语言模型驱动系统，实现符号翻译、逻辑推理与验证，无需外部工具。
• 通过在推理链中强制执行严格的符号推理规则，提升逻辑推理的忠实度与正确性。
• 证明在逻辑推理基准测试中，符号化思维链可超越标准自然语言思维链及现有混合系统。

提出的方法

• SymbCoT 采用四模块流水线：翻译器（将自然语言转换为符号逻辑，如一阶逻辑），规划器（生成分步符号推理计划），求解器（应用逻辑推理规则，如存在量词实例化与合取消去），验证器（验证翻译与推理链的正确性）。
• 系统利用大语言模型执行符号翻译与推理，消除了对外部符号推理器的依赖，从而实现完全端到端的大语言模型驱动逻辑推理。
• 符号表达式基于形式逻辑，可精确表示前提与推理过程，减少自然语言推理中固有的模糊性。
• 规划器模块利用符号推理规则生成中间推理步骤，确保逻辑严谨性与可追溯性。
• 验证器模块同时检查符号翻译的正确性与推理链的有效性，提升系统可靠性与忠实度。
• 该框架支持一阶逻辑与约束优化问题，适用于广泛多样的逻辑推理任务。

实验结果

研究问题

• RQ1 在思维链推理中整合符号逻辑是否能显著提升大语言模型在逻辑推理任务中的准确率与忠实度？
• RQ2 完全基于大语言模型的符号推理系统是否优于依赖外部符号求解器的现有混合方法？
• RQ3 与标准自然语言思维链相比，符号化思维链在多大程度上减少了过度泛化与错误推理？
• RQ4 在提升逻辑严谨性与正确性的同时，符号化思维链能否保持可解释性？
• RQ5 SymbCoT 在多样化的逻辑推理基准测试中表现如何，特别是在需要严格推理规则与符号操作的任务中？

主要发现

• SymbCoT 在五个标准逻辑推理数据集上均达到最先进性能，持续优于标准思维链与现有混合方法。
• 系统在推理忠实度方面表现显著提升，经内部验证器验证，有效减少了因过度泛化导致的错误推理。
• SymbCoT 通过符号推理规则使推理链完全可追溯，显著增强可解释性，而标准自然语言推理链则为黑箱过程。
• 该框架显著降低了对外部符号求解器的依赖，实现了完全端到端的大语言模型驱动推理流水线，更具灵活性与可维护性。
• 在 AR-LSAT 与 FOLIO 基准测试中，SymbCoT 成功通过完全符号化的推理链识别出不可能的排班选项（C），展现了在复杂约束推理中的鲁棒性。
• 验证器模块成功检测出翻译与推理错误，提升了整体可靠性，减少了逻辑推理中的误报。