[论文解读] Embedding Entities and Relations for Learning and Inference in Knowledge Bases

Bishan Yang, Wen-tau Yih+3 more|arXiv (Cornell University)|Dec 20, 2014

Topic Modeling参考文献 37被引用 2,032

一句话总结

本文提出了一种统一的神经嵌入框架用于知识库表示学习，表明简单的双线性模型在链接预测任务上实现了最先进性能（在Freebase上达到73.2%的top-10准确率），优于TransE。此外，该研究提出了一种新颖的规则挖掘方法，利用学习到的关系嵌入通过矩阵乘法有效捕捉组合语义，其在涉及关系组合的Horn规则提取任务中优于AMIE。

ABSTRACT

Compared to black-box neural networks, logic rules express explicit knowledge, can provide human-understandable explanations for reasoning processes, and have found their wide application in knowledge graphs and other downstream tasks. As extracting rules manually from large knowledge graphs is labour-intensive and often infeasible, automated rule learning has recently attracted significant interest, and a number of approaches to rule learning for knowledge graphs have been proposed. This survey aims to provide a review of approaches and a classification of state-of-the-art systems for learning first-order logic rules over knowledge graphs. A comparative analysis of various approaches to rule learning is conducted based on rule language biases, underlying methods, and evaluation metrics. The approaches we consider include inductive logic programming (ILP)-based, statistical path generalisation, and neuro-symbolic methods. Moreover, we highlight important and promising application scenarios of rule learning, such as rule-based knowledge graph completion, fact checking, and applications in other research areas.

研究动机与目标

• 将现有多种关系嵌入模型统一于单一神经网络框架下，以实现系统性比较。
• 评估不同实体与关系表示设计对链接预测性能的影响。
• 开发并验证一种新颖方法，从学习到的嵌入中挖掘逻辑规则，且不依赖显式的逻辑监督。
• 探究学习到的嵌入是否能捕捉关系的组合语义，尤其是通过矩阵乘法。
• 比较基于嵌入的规则挖掘方法与最先进基于置信度的规则挖掘方法（AMIE）在组合推理任务中的有效性。

提出的方法

• 将多关系学习形式化为神经网络框架，其中实体表示为低维向量，关系表示为双线性或线性算子。
• 采用双线性形式化，三元组 (e1, r, e2) 的得分计算为 e1^T * R_r * e2，其中 R_r 是关系 r 的可学习矩阵。
• 使用基于边距的排序损失进行训练，优化目标是使正确三元组的得分高于错误三元组。
• 应用 t-SNE 可视化分析学习到的关系嵌入的几何结构。
• 开发 EMBEDRULE 方法，通过矩阵乘法计算关系嵌入的组合，并在嵌入空间中基于最近邻搜索检索规则。
• 使用人工标注的前几项预测结果的精确率作为规则挖掘的评估指标，对动态关系生成的规则进行过滤。

实验结果

研究问题

• RQ1 统一框架能否泛化现有多种关系嵌入模型（如 NTN 和 TransE）？
• RQ2 简单的双线性形式化是否在链接预测任务上优于现有模型（如 TransE）？
• RQ3 学习到的关系嵌入能否有效捕捉关系的组合语义，例如将 'BornInCity' 与 'CityInCountry' 组合以推断 'Nationality' ？
• RQ4 基于嵌入的规则挖掘方法是否在需要组合推理的规则上优于基于置信度的规则挖掘方法（AMIE）？
• RQ5 不同关系表示类型（双线性、加法、对角）如何影响挖掘出的逻辑规则的质量？

主要发现

• 双线性模型在 Freebase 链接预测任务上的 top-10 准确率达到 73.2%，显著优于 TransE 的 54.7%。
• 双线性形式化在挖掘长度为 2 和 3 的 HORN 规则时，始终优于 DISTMULT 和 DISTADD，尤其在规则长度增加时优势更明显。
• 使用双线性嵌入的 EMBEDRULE 成功地仅从关系嵌入中提取出如 'BornInCity ^ CityInCountry → Nationality' 的规则，无需依赖实体实例。
• DISTMULT 和 BILINEAR 在规则挖掘中优于 DISTADD，表明通过矩阵乘法实现的乘法组合比加法组合更能捕捉关系语义。
• 可视化结果表明，DISTMULT 嵌入形成可解释的聚类（例如 /film/release_region 与 /film/country 靠近），而 DISTADD 嵌入缺乏清晰结构。
• 基于双线性嵌入并采用 t-SNE 初始化的方法（DISTMULT-TANH-EV-INIT）整体表现最佳，尤其在长规则任务中，表明其对复杂语义建模能力更强。