[论文解读] Learning Symbolic Rules for Reasoning in Quasi-Natural Language

Kaiyu Yang, Jia Deng|arXiv (Cornell University)|Nov 23, 2021

Topic Modeling参考文献 57被引用 9

一句话总结

本文提出 MetaQNL，一种准自然语言形式化系统，统一了符号逻辑与自然语言，以实现可解释性推理；并提出 MetaInduce，一种学习算法，能够从问题-答案对中（无论是否包含推理步骤）自动归纳符号规则。该方法在推理基准测试中达到最先进性能，生成简洁、可验证的证明，并在噪声多、语义模糊的形态分析任务中表现出色，性能媲美神经网络基线模型。

ABSTRACT

Symbolic reasoning, rule-based symbol manipulation, is a hallmark of human intelligence. However, rule-based systems have had limited success competing with learning-based systems outside formalized domains such as automated theorem proving. We hypothesize that this is due to the manual construction of rules in past attempts. In this work, we ask how we can build a rule-based system that can reason with natural language input but without the manual construction of rules. We propose MetaQNL, a "Quasi-Natural" language that can express both formal logic and natural language sentences, and MetaInduce, a learning algorithm that induces MetaQNL rules from training data consisting of questions and answers, with or without intermediate reasoning steps. Our approach achieves state-of-the-art accuracy on multiple reasoning benchmarks; it learns compact models with much less data and produces not only answers but also checkable proofs. Further, experiments on a real-world morphological analysis benchmark show that it is possible for our method to handle noise and ambiguity. Code will be released at https://github.com/princeton-vl/MetaQNL.

研究动机与目标

• 开发一种无需人工构建规则的基于规则的推理系统，直接处理自然语言输入。
• 弥合符号推理的可解释性与深度学习在数据效率与灵活性方面的差距。
• 实现从数据中自动归纳符号规则，同时保持可解释性与可验证性。
• 处理形态学等非正式领域中的真实语言噪声与语义模糊性。
• 证明从数据中学习规则可在特定推理任务中超越人工规则工程与端到端神经网络模型。

提出的方法

• 提出 MetaQNL，一种形式化符号系统，通过变量表示抽象模式，将自然语言表达与逻辑规则融合。
• 设计多前提、单结论的规则，在定理证明过程中用具体句子实例化变量。
• 开发 MetaInduce，一种元算法，通过生成候选规则，使目标结论能从训练样本中一步推导得出。
• 利用逆向链式推理与通过反统一实现的规则抽象，从具体示例推广到抽象规则。
• 在推理中使用软匹配机制，放松严格的模式匹配，通过启发式匹配分数提升对语言变异的鲁棒性。
• 集成现有定理证明器进行证明搜索，确保所有预测均附带可机械验证的证明。

实验结果

研究问题

• RQ1 能否在无需人工构建规则的前提下，将符号推理有效应用于自然语言输入？
• RQ2 如何设计一种形式化系统，统一表达自然语言与形式逻辑？
• RQ3 能否从问题-答案对（无论是否含中间推理步骤）中归纳出紧凑、可泛化的符号规则？
• RQ4 学习得到的基于规则的系统在推理与形态分析任务中，与神经网络基线相比性能如何？
• RQ5 软匹配机制在多大程度上能提升对真实世界数据中语言变异与模糊性的鲁棒性？

主要发现

• MetaInduce 在多个推理基准测试中达到最先进准确率，其可解释性与数据效率优于以往基于规则与神经网络的基线模型。
• 该方法生成简洁、人类可读且可机械验证的证明，显著提升透明度与可验证性。
• 在形态分析基准测试中，模型在斯瓦希里语上的 F1 得分与神经序列到序列基线模型相当（82 vs. 88），软匹配机制在西班牙语上提升性能（从 66 提升至 66 F1），并缩小了其他语言的性能差距。
• 模型学习到可解释的规则，如“西班牙语中后缀 -áramos 表示过去时态”，展现出对语言模式的泛化能力。
• 软匹配机制通过允许近似规则匹配提升了西班牙语的性能，但在斯瓦希里语与土耳其语上未带来增益，原因在于其形态复杂度高且规则近似困难。
• 当前局限在于规则抽象深度——仅考虑深度为 1 的证明——限制了在形态丰富的语言中学习更复杂、多步规则的能力。