[论文解读] A Survey of Knowledge Graph Embedding and Their Applications

Shivani Choudhary, Tarun Luthra+2 more|arXiv (Cornell University)|Jul 16, 2021

Advanced Graph Neural Networks参考文献 40被引用 5

一句话总结

本综述全面概述了知识图谱嵌入（KGE）技术，从基于平移的模型（如TransE）到先进的语义和多模态方法。它详细说明了实体和关系的向量表示如何支持链接预测、三元组分类和推荐系统等应用，重点在于整合文本和多模态数据以增强表征学习和实际性能。

ABSTRACT

Knowledge Graph embedding provides a versatile technique for representing knowledge. These techniques can be used in a variety of applications such as completion of knowledge graph to predict missing information, recommender systems, question answering, query expansion, etc. The information embedded in Knowledge graph though being structured is challenging to consume in a real-world application. Knowledge graph embedding enables the real-world application to consume information to improve performance. Knowledge graph embedding is an active research area. Most of the embedding methods focus on structure-based information. Recent research has extended the boundary to include text-based information and image-based information in entity embedding. Efforts have been made to enhance the representation with context information. This paper introduces growth in the field of KG embedding from simple translation-based models to enrichment-based models. This paper includes the utility of the Knowledge graph in real-world applications.

研究动机与目标

• 提供从基于平移的模型到更丰富、上下文感知模型的演化过程的结构化概述。
• 研究将文本和多模态信息（如图像、文本）整合到实体表征中以提升嵌入质量。
• 分析KGE在真实任务中的应用，如链接预测、三元组分类和推荐系统。
• 识别新兴研究方向，包括上下文感知和多任务学习方法在KGE中的应用。
• 通过向量空间表示弥合结构化知识图谱数据与实际机器学习应用之间的差距。

提出的方法

• 将KGE方法分为两大类：基于向量加法的平移模型（如TransE、TransH）和基于乘法运算的语义匹配模型。
• 通过公式 h + r ≈ t 解释TransE的核心机制，其中头实体向量 h、关系向量 r 和尾实体向量 t 通过基于排序的损失函数进行优化。
• 将TransH描述为TransE的扩展，通过将实体投影到关系特定的超平面上来解决处理一对多和多对多关系的局限性。
• 介绍如DistMult和ComplEx等语义匹配模型，它们利用张量分解和复数嵌入来建模对称、反对称和逆关系。
• 回顾整合文本和视觉特征到实体嵌入中的多模态KGE方法，从而在图结构之外增强表征丰富性。
• 概述推荐系统中的三种学习范式：两阶段学习、联合学习和多任务学习，其中KGE通过基于图的辅助信息指导推荐。

实验结果

研究问题

• RQ1 知识图谱嵌入模型如何从简单的基于平移的方法演变为更复杂、更丰富的表征？
• RQ2 早期KGE模型（如TransE）在处理一对多或多对多关系等复杂关系模式时存在哪些局限性？
• RQ3 语义匹配模型如何通过乘法评分函数在捕捉对称、反对称和逆关系方面优于基于平移的模型？
• RQ4 多模态和增强嵌入模型在超越结构信息方面，以何种方式增强实体表征？
• RQ5 基于KGE的方法在链接预测、三元组分类和推荐系统等下游应用中如何提升性能？

主要发现

• 基于平移的模型（如TransE和TransH）通过将关系建模为向量平移，为KGE奠定了基础，但在处理复杂关系类型方面存在困难。
• 语义匹配模型（如DistMult和ComplEx）通过乘法评分函数，在捕捉对称和反对称关系方面优于平移模型。
• 通过注意力机制或预训练语言模型将文本信息整合到嵌入中，显著提升了表征质量和下游任务的准确性。
• 整合图像和文本特征的多模态KGE模型在需要丰富实体描述的任务中表现更优，尤其在低数据环境下。
• 推荐系统中联合学习和多任务学习框架通过将KGE训练与推荐目标对齐，提升了推荐的准确性和鲁棒性。
• 评估指标如Hits@10和平均倒数排名（MRR）一致表明，现代KGE模型在FB15k和WN18等标准基准数据集上优于经典基线模型。