[论文解读] A survey of embedding models of entities and relationships for knowledge graph completion

Dat Quoc Nguyen|arXiv (Cornell University)|Mar 23, 2017

Advanced Graph Neural Networks被引用 6

一句话总结

本文全面综述了知识图谱补全任务中的知识图谱嵌入模型，重点聚焦于实体与关系表征学习以预测缺失链接。在FB15k、WN18及其变体等标准基准上评估了最先进模型，结果表明路径感知与语料增强模型优于基础三元组模型，其中RotatE、QuatE和CompleEx-N3通过先进的几何与神经架构实现最佳性能。

ABSTRACT

Knowledge graphs (KGs) of real-world facts about entities and their relationships are useful resources for a variety of natural language processing tasks. However, because knowledge graphs are typically incomplete, it is useful to perform knowledge graph completion or link prediction, i.e. predict whether a relationship not in the knowledge graph is likely to be true. This paper serves as a comprehensive survey of embedding models of entities and relationships for knowledge graph completion, summarizing up-to-date experimental results on standard benchmark datasets and pointing out potential future research directions.

研究动机与目标

• 提供知识图谱补全任务中嵌入模型的全面综述，重点聚焦于实体与关系表征学习。
• 总结在FB15k、WN18、FB15k-237和WN18RR等标准基准数据集上的最新实验结果。
• 识别现有模型中的关键趋势与性能差距，尤其关注路径信息与外部文本语料的使用。
• 突出未来研究方向，包括开放世界补全、逻辑规则的整合，以及大规模知识图谱的可扩展性。

提出的方法

• 本文综述了广泛的知识图谱嵌入模型，包括TransE、DistMult、ComplEx、RotatE、QuatE以及路径感知模型如STransE。
• 通过标准的实体预测（链接预测）任务在基准数据集上评估模型，采用平均倒数排名（MRR）和Hits@10作为性能度量指标。
• 根据模型对结构信息或外部文本信息的使用，将模型分类为基于三元组、路径感知和语料增强三类。
• 对模型架构选择进行分析，例如HypER和InteractE等模型中采用的张量基、复数域和注意力机制。
• 通过超参数调优与消融研究对比模型，特别评估预训练词嵌入在实体初始化中的影响。
• 在归纳设置与归纳设置下评估模型，强调泛化能力与可扩展性。

实验结果

研究问题

• RQ1 不同嵌入架构在FB15k和WN18等标准知识图谱补全基准上的表现如何？
• RQ2 引入路径信息或邻域结构对链接预测性能有何影响？
• RQ3 利用外部文本语料或预训练词嵌入的模型在实体表征方面效果如何？
• RQ4 与更复杂的架构相比，简单模型如TransE和DistMult存在哪些局限性？
• RQ5 在开放世界或大规模设置下，哪些未来研究方向最具前景？

主要发现

• 基于复数向量的模型如RotatE、QuatE和CompleEx-N3在标准基准上表现最强，尤其在WN18RR和FB15k-237上。
• 利用路径或邻域信息的模型（如STransE）优于基础三元组模型，表明结构归纳偏差有助于提升泛化能力。
• 语料增强模型，尤其是使用预训练词嵌入的模型，在WN18RR上表现显著提升，但在领域特定知识图谱上性能不够稳定。
• 尽管结构简单，TransE和DistMult在超参数仔细调优后仍能取得有竞争力的结果，凸显基线模型的价值。
• 基于神经网络的模型如CapsE、InteractE和HypER表现强劲，尤其在使用预训练嵌入初始化时，但其性能增益具有上下文依赖性。
• 综述识别出开放世界知识图谱补全与逻辑规则整合是极具前景的未来研究方向，尤其适用于动态或演化的知识图谱。