[论文解读] Logic-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning

Liangming Pan, Alon Albalak+2 more|arXiv (Cornell University)|May 20, 2023

Topic Modeling被引用 7

一句话总结

该论文提出 Logic-LM，一种神经符号框架，通过将符号求解器集成到大型语言模型（LLMs）中，以提升忠实的逻辑推理能力。通过使用 LLMs 将自然语言问题转化为符号逻辑，再利用确定性的符号推理引擎进行推理，Logic-LM 在五个逻辑推理数据集上相较于标准提示工程平均提升 39.2%，相较于思维链提示工程提升 18.4%。

ABSTRACT

Large Language Models (LLMs) have shown human-like reasoning abilities but still struggle with complex logical problems. This paper introduces a novel framework, Logic-LM, which integrates LLMs with symbolic solvers to improve logical problem-solving. Our method first utilizes LLMs to translate a natural language problem into a symbolic formulation. Afterward, a deterministic symbolic solver performs inference on the formulated problem. We also introduce a self-refinement module, which utilizes the symbolic solver's error messages to revise symbolic formalizations. We demonstrate Logic-LM's effectiveness on five logical reasoning datasets: ProofWriter, PrOntoQA, FOLIO, LogicalDeduction, and AR-LSAT. On average, Logic-LM achieves a significant performance boost of 39.2% over using LLM alone with standard prompting and 18.4% over LLM with chain-of-thought prompting. Our findings suggest that Logic-LM, by combining LLMs with symbolic logic, offers a promising avenue for faithful logical reasoning. Code and data are publicly available at https://github.com/teacherpeterpan/Logic-LLM.

研究动机与目标

• 解决 LLM 中推理不忠实的问题，即结论无法从推理步骤中逻辑推导而出。
• 通过整合确保逻辑一致性的符号逻辑系统，克服纯神经推理的局限性。
• 利用 LLM 的自然语言理解能力，生成复杂逻辑问题的准确符号形式化表达。
• 通过符号求解器提供的错误反馈，利用自修正机制提升符号形式化准确性。
• 在多样化的逻辑推理基准上，展示 LLM 与符号推理结合的有效性。

提出的方法

• 使用大型语言模型（如 GPT-4）将自然语言问题转化为符号逻辑表示（如一阶逻辑、约束满足问题、SAT 公式）。
• 采用领域特定的符号求解器——如逻辑编程引擎、一阶逻辑推理引擎、约束优化器和 SAT 求解器——对符号形式化结果进行确定性推理。
• 引入一个自修正模块，利用符号求解器返回的错误信息作为反馈，迭代地修正符号形式化结果。
• 解释符号求解器的输出，并将其映射回原始答案空间以生成最终预测。
• 使用少样本 few-shot 上下文学习，通过示范引导 LLM 生成正确的符号表示。
• 通过定制化的符号工具支持多种推理类型，包括演绎推理、一阶逻辑推理、约束满足问题和分析性推理。

Figure 1: Overview of our Logic-LM framework.

实验结果

研究问题

• RQ1 与标准提示工程相比，将 LLM 与符号求解器结合是否能显著提升逻辑推理的忠实度与准确性？
• RQ2 随着推理深度的增加，LLM-符号集成框架的性能如何变化？
• RQ3 利用符号求解器反馈进行自修正，在多大程度上能提升符号形式化的质量？
• RQ4 该框架在多样化的逻辑推理任务（包括一阶逻辑、约束满足问题和分析性推理）中的有效性如何？
• RQ5 LLMs 在符号形式化过程中主要的失败模式是什么，这些模式如何影响整体推理性能？

主要发现

• Logic-LM 在五个逻辑推理数据集上，相较于标准提示工程平均提升 39.2%，相较于思维链提示工程提升 18.4%。
• 随着推理深度的增加，该框架的性能显著提升，表明其在处理复杂问题时具备良好的可扩展性。
• 利用符号求解器错误信息进行自修正，可显著提升符号形式化准确率。
• 错误案例显示，LLMs 常常错误表示谓词，混淆空间关系（如 'above' 与 'below'），或生成语法无效的一阶逻辑公式。
• 该方法在多种推理类型中表现出鲁棒性，包括演绎推理、一阶逻辑、CSP 和分析性推理。
• 尽管在符号形式化方面存在挑战，但符号求解器的集成确保了推理结果的逻辑忠实性与透明性。

Figure 2: Overview of our Logic-LM model, which consists of three modules: ( 1 ) Problem Formulator generates a symbolic representation for the input problem with LLMs via in-context learning ( 2 ) Symbolic Reasoner performs logical inference on the formulated problem, and ( 3 ) Result Interpreter i