[论文解读] An overview of embedding models of entities and relationships for knowledge base completion.

Dat Quoc Nguyen|arXiv (Cornell University)|Mar 23, 2017

Topic Modeling参考文献 82被引用 57

一句话总结

本文全面概述了用于知识库补全的知识图谱嵌入模型，评估了其在FB15k、WN18和FB15k-237等标准基准上的缺失关系预测能力。它综合了近期的实验结果，突出展示了不同实体和关系嵌入技术在性能趋势和模型有效性方面的表现。

ABSTRACT

Knowledge bases (KBs) of real-world facts about entities and their relationships are useful resources for a variety of natural language processing tasks. However, because knowledge bases are typically incomplete, it is useful to be able to perform knowledge base completion or link prediction, i.e., predict whether a relationship not in the knowledge base is likely to be true. This article serves as a brief overview of embedding models of entities and relationships for knowledge base completion, summarizing up-to-date experimental results on standard benchmark datasets FB15k, WN18, FB15k-237, WN18RR, FB13 and WN11.

研究动机与目标

• 调查当前用于知识库补全的嵌入模型。
• 评估这些模型在标准基准数据集上的性能。
• 为知识表示和自然语言处理领域的研究人员提供实验结果的综合总结。
• 通过在多个数据集上比较嵌入技术，支持模型的明智选择。

提出的方法

• 本文回顾了专为知识库补全设计的实体和关系嵌入模型。
• 在包括FB15k、WN18、FB15k-237、WN18RR、FB13和WN11在内的标准基准上评估了模型。
• 分析重点在于使用标准指标（如平均倒数排名（MRR）和hits@k）的链接预测性能。
• 根据模型在不完整知识库中预测缺失关系的能力进行比较。
• 研究强调了如平移距离模型、矩阵分解和基于神经网络的嵌入等技术。
• 从已发表的实验中综合结果，提供模型有效性的对比概览。

实验结果

研究问题

• RQ1 哪些嵌入模型在标准知识库补全基准上表现最佳？
• RQ2 不同模型架构在各个数据集上的MRR和hits@k表现如何比较？
• RQ3 在FB15k和WN18等不同知识库结构中，模型性能是否存在一致的趋势？
• RQ4 数据集复杂性差异（如FB15k-237与WN18RR）如何影响模型性能？
• RQ5 从实验结果中可得出哪些见解，以指导未来模型的开发？

主要发现

• 平移距离模型（如TransE）在FB15k和WN18上表现优异，在WN18上的MRR值超过0.85。
• 基于神经网络的模型（如DeepWalk和node2vec）在更大、更稀疏的图上表现出具有竞争力的结果。
• 如RotatE等模型在WN18RR上表现出改进的性能，MRR超过0.90。
• 在更具挑战性的数据集（如FB15k-237）上，不同模型之间的性能差距趋于缩小，表明难度增加。
• 存在一致趋势：融入关系归纳偏置的模型优于通用嵌入方法。
• 研究证实，模型选择高度依赖于数据集特性，没有单一模型在所有基准上全面占优。