[论文解读] Abductive Knowledge Induction From Raw Data

Wang-Zhou Dai, Stephen Muggleton|arXiv (Cornell University)|Oct 7, 2020

Topic Modeling参考文献 26被引用 5

一句话总结

该论文提出了一种新型神经符号框架——归纳性元解释学习（Meta$_{Abd}$），该框架联合训练神经网络并从原始数据中归纳出递归的一阶逻辑理论，支持谓词发明。通过在元解释学习框架中整合归因与归纳，Meta$_{Abd}$在预测准确率和数据效率方面优于最先进模型，同时生成可解释、可重用的逻辑程序。

ABSTRACT

For many reasoning-heavy tasks involving raw inputs, it is challenging to design an appropriate end-to-end learning pipeline. Neuro-Symbolic Learning, divide the process into sub-symbolic perception and symbolic reasoning, trying to utilise data-driven machine learning and knowledge-driven reasoning simultaneously. However, they suffer from the exponential computational complexity within the interface between these two components, where the sub-symbolic learning model lacks direct supervision, and the symbolic model lacks accurate input facts. Hence, most of them assume the existence of a strong symbolic knowledge base and only learn the perception model while avoiding a crucial problem: where does the knowledge come from? In this paper, we present Abductive Meta-Interpretive Learning ($Meta_{Abd}$) that unites abduction and induction to learn neural networks and induce logic theories jointly from raw data. Experimental results demonstrate that $Meta_{Abd}$ not only outperforms the compared systems in predictive accuracy and data efficiency but also induces logic programs that can be re-used as background knowledge in subsequent learning tasks. To the best of our knowledge, $Meta_{Abd}$ is the first system that can jointly learn neural networks from scratch and induce recursive first-order logic theories with predicate invention.

研究动机与目标

• 解决在不依赖预存符号知识库的前提下训练端到端神经符号系统的问题。
• 实现从原始、非符号化输入中联合学习神经感知模型与符号化逻辑理论。
• 在统一框架中支持谓词发明与递归理论归纳，结合神经学习与逻辑归因及归纳。
• 通过利用归因推理来剪枝搜索空间，提升推理密集型任务中的数据效率与预测性能。
• 生成可解释、可重用的逻辑程序，以便在后续学习任务中应用。

提出的方法

• Meta$_{Abd}$ 使用神经网络从原始数据（如图像或序列）中提取概率性逻辑事实。
• 它利用归因逻辑编程，通过搜索满足观测数据的最小解释来推断这些事实的真值。
• 该框架将归纳逻辑编程（ILP）与元解释学习相结合，以归纳一阶逻辑理论，包括递归和新发明的谓词。
• 通过剪除与数据不一致或不合理的神经生成事实真值赋值，利用归因来约束逻辑程序的假设空间。
• 通过一个平衡感知与推理的概率模型，联合优化神经网络权重与逻辑程序假设。
• 采用课程学习策略，先学习子任务（如学习'sorted'谓词），再复用以训练更复杂的任务（如排序）。

实验结果

研究问题

• RQ1 神经符号系统能否在无需预存符号知识库的前提下，从原始数据中联合学习神经网络与一阶逻辑理论？
• RQ2 该系统能否从非符号化输入中实现谓词发明并归纳出递归逻辑程序？
• RQ3 与现有神经符号模型相比，归因的整合是否能提升推理任务中的数据效率与预测准确率？
• RQ4 所学习的逻辑程序与神经模型能否在下游任务中重用？
• RQ5 在弱背景知识条件下，Meta$_{Abd}$ 与依赖强先验符号知识的模型相比表现如何？

主要发现

• Meta$_{Abd}$ 在排序任务中优于 NeuralSort 与 NLM，尽管使用了更弱的背景知识，但取得了显著更高的准确率。
• 该系统仅用不到 20 个训练样本就学会了'sorted'（由谓词 s 表示）的概念，展现出极高的数据效率。
• Meta$_{Abd}$ 有效归纳出包含谓词发明的递归逻辑程序，包括新发明的谓词 s_1，如图 3(a) 所示。
• 神经模型（nn_pred）在 MNIST 图像上无监督地学习到了一个二元部分序关系（如'大于'或'小于'），表明其具备稳健的感知学习能力。
• 所学习的'sorted'逻辑程序与神经感知模型在排序任务中成功实现重用，证实了其可重用性与模块化特性。
• NLM 未能学习到任何有效的感知模型或排序算法（成功率为 0.0%），凸显 Meta$_{Abd}$ 在训练稳定性和效率方面的显著优势。