[论文解读] Logical Reasoning over Natural Language as Knowledge Representation: A Survey

Zonglin Yang, Xinya Du+3 more|arXiv (Cornell University)|Mar 21, 2023

Topic Modeling被引用 6

一句话总结

本文提出了自然语言上的逻辑推理（LRNL），这是一种新范式，使用自然语言作为知识表示形式，以预训练语言模型（PLMs）作为推理引擎，相较于符号方法和端到端神经方法具有优势。该文全面综述了LRNL中的演绎、归纳和溯因推理，包括基准测试、挑战与未来方向。

ABSTRACT

Logical reasoning is central to human cognition and intelligence. It includes deductive, inductive, and abductive reasoning. Past research of logical reasoning within AI uses formal language as knowledge representation and symbolic reasoners. However, reasoning with formal language has proved challenging (e.g., brittleness and knowledge-acquisition bottleneck). This paper provides a comprehensive overview on a new paradigm of logical reasoning, which uses natural language as knowledge representation and pretrained language models as reasoners, including philosophical definition and categorization of logical reasoning, advantages of the new paradigm, benchmarks and methods, challenges of the new paradigm, possible future directions, and relation to related NLP fields. This new paradigm is promising since it not only alleviates many challenges of formal representation but also has advantages over end-to-end neural methods. This survey focus on transformer-based LLMs explicitly working on deductive, inductive, and abductive reasoning over English representation.

研究动机与目标

• 提出并形式化自然语言上的逻辑推理（LRNL）作为人工智能的新范式，使用自然语言进行知识表示，利用PLMs进行推理。
• 通过利用自然语言的表达力和可访问性，克服传统符号推理的脆弱性和知识获取瓶颈。
• 提供LRNL中演绎、归纳和溯因推理的统一综述，包括任务设定、数据集和方法。
• 识别评估、可扩展性和推理机制方面的关键挑战，并提出未来研究方向，以构建更稳健和通用的推理系统。
• 阐明LRNL与端到端大语言模型提示技术（如思维链）的区别，强调其模块化、微调化和神经符号特性。

提出的方法

• 使用自然语言作为知识表示格式，替代形式逻辑（如一阶逻辑），实现更符合人类阅读习惯且更易访问的知识编码。
• 采用预训练语言模型（PLMs）作为推理引擎，通过 few-shot 提示或在推理任务上微调实现推理。
• 通过从知识库中检索相关文本前提并将其作为后续推理步骤的输入，支持迭代推理。
• 引入模块化框架，使每个推理步骤均为一次PLM推理，实现可追溯且可解释的推理链。
• 提出一种神经符号方法，结合符号推理结构与非符号神经推理，提升可控性与可解释性。
• 依赖于经整理的基准测试，如 https://github.com/ZonglinY/LRNL-bench.git 上托管的基准，以评估LRNL在演绎、归纳和溯因推理任务中的性能。

Figure 1: Comparison between the previous paradigm which uses formal representation and symbolic reasoner, and the new paradigm which uses natural language as knowledge representation and PLM as reasoner.

实验结果

研究问题

• RQ1 如何通过使用自然语言作为知识表示而非形式逻辑，重新定义逻辑推理？
• RQ2 与传统符号推理和端到端神经方法相比，LRNL在鲁棒性、可解释性和知识获取方面具有哪些关键优势？
• RQ3 LRNL范式中，演绎、归纳和溯因推理的当前基准测试、数据集和方法有哪些？
• RQ4 在评估LRNL系统时，主要挑战是什么，尤其是语义多样性以及多个可接受结论的存在？
• RQ5 哪些未来研究方向——如概率推理、不完整信息下的推理以及网络规模的归纳推理——可推动该领域发展？

主要发现

• LRNL通过自然语言表示缓解了形式符号推理的脆弱性和知识获取瓶颈，是一种可行的替代方案。
• 当通过提示或微调时，PLMs能够有效执行演绎、归纳和溯因推理，在结构化推理任务中表现出色。
• 与端到端大语言模型提示相比，该范式在可解释性和可控性方面更具优势，因为推理步骤是模块化且可追溯的。
• 由于自然语言中的语义差异以及归纳和溯因推理中可能存在多个有效结论，评估仍具挑战性。
• 当前基准测试在规模和真实性方面有限，需专家标注，对大规模部署构成挑战。
• 未来工作应探索概率推理、不完整或缺失前提下的推理，以及从原始网络语料中学习归纳规则，以增强现实世界适用性。