[论文解读] Logic Rules Powered Knowledge Graph Embedding

Pengwei Wang, Dejing Dou+3 more|arXiv (Cornell University)|Mar 9, 2019

Advanced Graph Neural Networks参考文献 30被引用 18

一句话总结

本文提出了一种逻辑规则增强的知识图嵌入方法，通过将自动挖掘的逻辑规则（如推理、传递性和反对称性规则）整合到基于翻译的模型（如TransE）中。通过以一阶逻辑表示三元组和规则，并联合优化全局损失，该方法显著提升了链接预测性能，尤其在过滤后的Hits@1指标上，WN18数据集上最高提升达700%。

ABSTRACT

Large scale knowledge graph embedding has attracted much attention from both academia and industry in the field of Artificial Intelligence. However, most existing methods concentrate solely on fact triples contained in the given knowledge graph. Inspired by the fact that logic rules can provide a flexible and declarative language for expressing rich background knowledge, it is natural to integrate logic rules into knowledge graph embedding, to transfer human knowledge to entity and relation embedding, and strengthen the learning process. In this paper, we propose a novel logic rule-enhanced method which can be easily integrated with any translation based knowledge graph embedding model, such as TransE . We first introduce a method to automatically mine the logic rules and corresponding confidences from the triples. And then, to put both triples and mined logic rules within the same semantic space, all triples in the knowledge graph are represented as first-order logic. Finally, we define several operations on the first-order logic and minimize a global loss over both of the mined logic rules and the transformed first-order logics. We conduct extensive experiments for link prediction and triple classification on three datasets: WN18, FB166, and FB15K. Experiments show that the rule-enhanced method can significantly improve the performance of several baselines. The highlight of our model is that the filtered Hits@1, which is a pivotal evaluation in the knowledge inference task, has a significant improvement (up to 700% improvement).

研究动机与目标

• 解决现有知识图嵌入方法仅依赖事实三元组而忽略结构化背景知识的局限性。
• 实现在统一向量空间中联合学习知识图三元组与逻辑规则。
• 通过使用具有一致代数运算的一阶逻辑表示，克服规则编码中的多对一映射问题。
• 通过规则增强的训练提升链接预测与三元组分类性能。
• 提供一种即插即用的框架，兼容任意基于翻译的知识图嵌入模型。

提出的方法

• 使用基于模式的规则提取方法，从知识图三元组中自动挖掘逻辑规则（如推理、传递性、反对称性）及其置信度。
• 将所有三元组与规则统一表示为一阶逻辑形式，例如 (h) ⇒ t 表示三元组 (h, r, t)。
• 为逻辑符号（如蕴含、合取）定义一致的向量空间运算，以实现规则与三元组之间的代数交互。
• 引入一种通用交互操作，使规则内部的组件能在嵌入空间中直接交互。
• 构建一个全局损失函数，在训练过程中联合优化嵌入的三元组与挖掘出的逻辑规则。
• 通过端到端训练，将规则增强的损失集成到任意基于翻译的模型（如TransE、TransH、TransR）中。

实验结果

研究问题

• RQ1 自动挖掘的逻辑规则是否能显著提升知识图嵌入模型的性能？
• RQ2 如何在具有一致代数运算的共享语义空间中嵌入逻辑规则与知识图三元组？
• RQ3 整合逻辑规则是否能在链接预测与三元组分类任务中带来可测量的性能提升？
• RQ4 所提出的方法是否能在关键的过滤后Hits@1指标上实现显著提升，尤其是在知识推理任务中？
• RQ5 该规则增强方法在应用于多种基于翻译的模型（如TransE、TransH、TransR）时是否具备兼容性与有效性？

主要发现

• 该规则增强方法在所有评估数据集（WN18、FB166、FB15K）上均显著提升了链接预测性能。
• 在WN18数据集上，TransR(Rule)模型达到0.9926的过滤后Hits@1，相比基线模型TransR(Per)提升700%。
• TransE(Rule)在FB166上达到0.9490的过滤后Hits@1，相比TransE(Per)绝对提升4.2个百分点。
• TransH(Rule)在FB166上达到0.9505的过滤后Hits@1，相较于其基线模型表现出一致的性能提升。
• 该方法在多种模型（包括TransE、TransH、TransR）上均展现出稳健的性能提升，表明其具有广泛的兼容性与有效性。
• 逻辑规则的引入增强了模型的泛化能力与更强的归纳偏置，尤其在知识推理任务中表现突出。