[论文解读] DRUM: End-To-End Differentiable Rule Mining On Knowledge Graphs

Ali Sadeghian, Mohammadreza Armandpour+2 more|arXiv (Cornell University)|Oct 31, 2019

Advanced Graph Neural Networks被引用 62

一句话总结

DRUM 是一个全可微分的模型，学习一阶逻辑规则及其置信度分数，用于知识图谱的归纳和可解释的链接预测，采用 rank-L 张量灵感的表示和双向 RNN 在关系间共享信息。

ABSTRACT

In this paper, we study the problem of learning probabilistic logical rules for inductive and interpretable link prediction. Despite the importance of inductive link prediction, most previous works focused on transductive link prediction and cannot manage previously unseen entities. Moreover, they are black-box models that are not easily explainable for humans. We propose DRUM, a scalable and differentiable approach for mining first-order logical rules from knowledge graphs which resolves these problems. We motivate our method by making a connection between learning confidence scores for each rule and low-rank tensor approximation. DRUM uses bidirectional RNNs to share useful information across the tasks of learning rules for different relations. We also empirically demonstrate the efficiency of DRUM over existing rule mining methods for inductive link prediction on a variety of benchmark datasets.

研究动机与目标

• 用可解释、让人类易于理解的规则来处理具可理解的归纳链接预测，而非黑箱嵌入。
• 构建一个完全可微分的框架，联合学习规则结构及其置信度分数。
• 将规则置信度估计与低秩张量逼近相连接，并实现跨关系的知识共享。
• 在基准数据集上展示相对于先前的可微分规则挖掘方法的效率与准确性提升。

提出的方法

• 将规则表示为关系邻接矩阵的组合，并优化一个rank-L 张量样扩展以学习规则置信度。
• 引入 Omega_H(a) 形式及其 rank-L 的扩展 Omega^L_H(a, L) 来建模规则置信度。
• 使用双向 RNN 生成在头关系 H 条件下的规则形成系数 a_{i,k}，实现跨头谓词的共享。
• 使用单位关系 B_0 将固定长度规则替换为灵活长度，以在固定计算量内允许更短的规则。
• 证明秩-1 形式存在局限性（定理1），而更高秩近似（定理2）能够表示任意的规则集合。
• 在开放世界假设下，对正事实使用基于梯度的优化（Adam）端到端训练，并在头谓词之间共享一组 RNN。

实验结果

研究问题

• RQ1 端到端可微分的规则挖掘是否能够同时学习知识图的规则结构与规则置信度分数？
• RQ2 允许更高秩（L>1）的张量样表示是否相较于秩-1 方法在精度与可解释性方面有提升？

主要发现

• DRUM 在统计关系学习中，在规则长度 T=2 和 T=3 的多个数据集上均优于 Neural-LP。
• 高秩（L=4）DRUM 相比秩-1 变体有显著改进，说明张量样规则置信度建模的优势。
• DRUM 在 WordNet（WN18RR）和 Freebase（FB15K-237）的传导式链接预测任务上在多项指标上达到最先进的结果。
• 在归纳链接预测中，DRUM 仍具竞争力，通常优于 Neural-LP，凸显其面对未见实体的归纳能力。
• 人类评估表明，与 Neural-LP 相比，DRUM 生成的规则排序更好、准确性更高，减少前排名中的逻辑错误规则。