[论文解读] Differentiable Learning of Logical Rules for Knowledge Base Reasoning

Fan Yang, Zhilin Yang+1 more|arXiv (Cornell University)|Feb 27, 2017

Bayesian Modeling and Causal Inference参考文献 32被引用 173

一句话总结

Neural LP 在可微框架中同时学习一阶逻辑规则的结构和参数，使对知识库的端到端推理成为可能，并在多个基准测试上取得了优异的结果。

ABSTRACT

We study the problem of learning probabilistic first-order logical rules for knowledge base reasoning. This learning problem is difficult because it requires learning the parameters in a continuous space as well as the structure in a discrete space. We propose a framework, Neural Logic Programming, that combines the parameter and structure learning of first-order logical rules in an end-to-end differentiable model. This approach is inspired by a recently-developed differentiable logic called TensorLog, where inference tasks can be compiled into sequences of differentiable operations. We design a neural controller system that learns to compose these operations. Empirically, our method outperforms prior work on multiple knowledge base benchmark datasets, including Freebase and WikiMovies.

研究动机与目标

• 在可微设置下，激励学习用于知识库推理的概率性的一阶逻辑规则。
• 在一个端到端模型中实现规则结构与参数的同时学习。
• 在神经控制器中利用受 TensorLog 启发的可微运算符来组合规则。
• 在多样数据集上证明对知识库补全、路径查找和问答任务的实证改进。

提出的方法

• 将知识库推理表示为由神经控制器学习的加权、概率性的一阶规则。
• 对每个关系使用 TensorLog 运算符 M_R，通过矩阵运算执行可微推理。
• 将规则学习改写为一个循环的、基于注意力的记忆网络，软性地选择运算符序列。
• 引入记忆向量 u_t 和注意力 a_t（运算符）以及 b_t（记忆），以处理可变的规则长度。
• 通过梯度优化进行端到端训练；通过追踪注意力来恢复可人类可解释的规则。

实验结果

研究问题

• RQ1 一个完全面向微分的模型是否能够同时学习知识库推理中逻辑规则的结构和参数？
• RQ2 Neural LP 在标准的知识库补全基准以及需要更长规则链的任务上的表现如何？
• RQ3 在这个可微规则学习框架中，是否能够处理部分结构化或自然语言查询？
• RQ4 在多大程度上可以通过模型的注意力恢复并解释所学习的规则？

主要发现

• Neural LP 在知识库补全基准（WordNet 和 Freebase 变体）以及具有挑战性的 Freebase15KSelected 任务上表现出色。
• 在一个合成的网格路径任务中，Neural LP 学习了更长的规则（长度为 6–8），并相较于先前的方法展示出鲁棒性。
• 在知识库补全方面，Neural LP 在 WN18 上达到最新水平，在 FB15K 和 FB15KSelected 上也取得了具有竞争力的结果，证明了有效的规则学习。
• 在 WikiMovies 问答任务上，Neural LP 达到具有竞争力的准确率，体现了处理以自然语言提出的问题的能力。
• 该模型通过执行学习得到的控制器并检查注意力分布，可以恢复逻辑规则，产生可解释的规则结构。