[论文解读] Logical Rule Induction and Theory Learning Using Neural Theorem Proving

Andres Campero, Aldo Pareja+3 more|arXiv (Cornell University)|Sep 6, 2018

Topic Modeling参考文献 24被引用 17

一句话总结

本文提出了一种基于可微前向链推理与软统一的神经符号框架，用于逻辑规则归纳与理论学习。通过梯度下降优化谓词的密集向量嵌入，该方法从观测中学习可解释的逻辑规则与核心事实，在归纳逻辑编程（ILP）与理论学习基准上实现了高准确率与强压缩能力，包括在学习最优分类理论任务中达到99%准确率与70%成功率。

ABSTRACT

A hallmark of human cognition is the ability to continually acquire and distill observations of the world into meaningful, predictive theories. In this paper we present a new mechanism for logical theory acquisition which takes a set of observed facts and learns to extract from them a set of logical rules and a small set of core facts which together entail the observations. Our approach is neuro-symbolic in the sense that the rule pred- icates and core facts are given dense vector representations. The rules are applied to the core facts using a soft unification procedure to infer additional facts. After k steps of forward inference, the consequences are compared to the initial observations and the rules and core facts are then encouraged towards representations that more faithfully generate the observations through inference. Our approach is based on a novel neural forward-chaining differentiable rule induction network. The rules are interpretable and learned compositionally from their predicates, which may be invented. We demonstrate the efficacy of our approach on a variety of ILP rule induction and domain theory learning datasets.

研究动机与目标

• 开发一种神经符号方法，无需对规则结构进行显式监督，即可从原始观测中学习可解释的逻辑规则与核心事实。
• 通过学习一组最小化的核心事实与规则来实现理论压缩，使其能够模拟人类的知识泛化行为。
• 通过梯度下降联合优化规则与事实表示，支持归纳逻辑编程（ILP）与领域理论学习。
• 在学习过程中支持新谓词的发明，从而实现从数据中发现抽象概念。

提出的方法

• 该模型使用一种可微的前向链神经网络，通过软统一应用规则，其中谓词相似性通过向量嵌入而非精确匹配来衡量。
• 规则通过谓词的密集向量嵌入参数化，这些嵌入通过梯度下降进行优化，以在K步推理后生成观测到的事实。
• 核心事实作为原子事实的嵌入进行学习，并通过稀疏性正则化最小化所学习的核心事实数量，以促进理论压缩。
• 训练目标最小化K步推理后推断出的事实与观测目标事实之间的差异，以鼓励真实事实的忠实生成并避免虚假事实。
• 该系统支持规则归纳（给定原型规则）与理论获取（从零开始学习规则与核心事实），且无需对规则结构进行显式监督。
• 软统一通过测量谓词嵌入之间的相似性替代精确统一，实现可微推理与端到端训练。

实验结果

研究问题

• RQ1 一种可微的神经符号模型是否能无需对规则结构进行监督，从原始观测中学习可解释的逻辑规则与核心事实？
• RQ2 该模型在多大程度上能将观测事实压缩为一组最小化的核心事实与规则，实现类人理论压缩？
• RQ3 该模型在标准ILP与领域理论学习基准上的表现如何，特别是在学习发明谓词方面？
• RQ4 该模型能否在极少监督下泛化到复杂关系结构（如亲属关系与分类层级）？

主要发现

• 在动物分类数据集上，该模型在学习最优40条核心事实理论时达到了99%准确率与70%成功率，展现出强大的压缩与泛化能力。
• 在亲属关系数据集上，该模型正确恢复了96%的观测事实，学习到了4个新的辅助谓词与6条逻辑规则，用于定义母亲、父亲与女儿等关系。
• 该模型成功学习到了已知与发明谓词的可解释、组合式表示，包括抽象概念如“孩子”与“配偶”。
• 该方法在多种ILP与理论学习任务中表现出稳健性能，在准确率与压缩效率方面均优于基线方法。
• 软统一的使用实现了可微推理与有效的端到端训练，即使在规则随机初始化时也表现良好。