[论文解读] Knowledge Graph Embedding: An Overview

Xiou Ge, Yun-Cheng Wang+2 more|arXiv (Cornell University)|Sep 21, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本文全面综述了用于知识图谱补全的知识图谱嵌入（KGE）模型，重点聚焦于基于距离的方法和基于语义匹配的方法。文章提出了CompoundE和CompoundE3D，通过统一平移、旋转等几何变换来建模复杂的关系模式，并强调了将预训练语言模型（PLMs）与KGE结合以提升链接预测性能的新兴趋势。

ABSTRACT

Many mathematical models have been leveraged to design embeddings for representing Knowledge Graph (KG) entities and relations for link prediction and many downstream tasks. These mathematically-inspired models are not only highly scalable for inference in large KGs, but also have many explainable advantages in modeling different relation patterns that can be validated through both formal proofs and empirical results. In this paper, we make a comprehensive overview of the current state of research in KG completion. In particular, we focus on two main branches of KG embedding (KGE) design: 1) distance-based methods and 2) semantic matching-based methods. We discover the connections between recently proposed models and present an underlying trend that might help researchers invent novel and more effective models. Next, we delve into CompoundE and CompoundE3D, which draw inspiration from 2D and 3D affine operations, respectively. They encompass a broad spectrum of techniques including distance-based and semantic-based methods. We will also discuss an emerging approach for KG completion which leverages pre-trained language models (PLMs) and textual descriptions of entities and relations and offer insights into the integration of KGE embedding methods with PLMs for KG completion.

研究动机与目标

• 提供现有知识图谱嵌入（KGE）模型用于知识图谱补全的统一、全面综述。
• 识别并分析KGE模型设计中的关键趋势，特别是平移、旋转和缩放等几何变换的整合。
• 探索KGE方法与预训练语言模型（PLMs）之间的协同作用，以增强链接预测和知识推理能力。
• 整理关键研究资源，包括基准数据集、公开知识图谱和排行榜，以支持未来的KGE研究。
• 通过引入CompoundE和CompoundE3D，激发新型KGE模型的开发，该模型通过二维和三维空间中的仿射运算统一多种KGE技术。

提出的方法

• 将KGE模型分为两大类：基于距离的方法（如TransE、RotatE）和基于语义匹配的方法（如ComplEx、SimplE）。
• 提出CompoundE和CompoundE3D作为统一框架，通过二维和三维仿射运算结合多种几何变换（如平移、旋转、缩放和反射）。
• 通过几何变换的视角分析KGE模型的数学结构，揭示看似不同的模型之间的潜在联系。
• 提出一种将预训练语言模型（PLMs）与KGE结合的框架，利用实体和关系的文本描述，采用KEPLER、BERTRL和KGT5等模型。
• 在SimKGC和StAR等模型中采用对比学习和自监督目标，以增强头实体和尾实体表示之间的语义匹配。
• 在KGT5中通过T5的序列到序列建模，实现端到端的链接预测和基于自然语言信号的问答任务。

Figure 2: Illustration of Knowledge Panel from Google Search.

实验结果

研究问题

• RQ1 平移、旋转和缩放等几何变换如何有助于建模知识图谱中多样的关系模式？
• RQ2 看似不同的KGE模型（如TransE、RotatE和ComplEx）之间存在何种潜在的结构和数学联系？
• RQ3 预训练语言模型（PLMs）在多大程度上可有效整合到KGE中以提升链接预测和推理性能？
• RQ4 统一框架如CompoundE和CompoundE3D如何通过组合几何运算泛化并改进现有KGE模型？
• RQ5 在利用文本描述增强KGE模型语义匹配方面，最有效的自监督和对比学习策略是什么？

主要发现

• CompoundE和CompoundE3D分别通过二维和三维仿射变换建模关系，统一了广泛的KGE模型，展现出更强的建模能力。
• 通过整合旋转和平移等几何变换，能够有效建模对称、反对称及其他复杂关系模式。
• 如RotatE和QuatE等模型通过在复数向量空间中将关系建模为旋转，在标准基准（如FB15k-237）上达到最先进性能。
• 基于PLM的KGE模型如KEPLER和BERTRL表现出色，其嵌入通过文本描述初始化，并通过掩码语言建模或关系路径建模进行微调。
• KGT5通过基于T5的序列到序列框架结合自然语言提示，在链接预测和问答任务中均取得具有竞争力的结果。
• SimKGC和StAR表明，结合批次内和自负样本的对比学习能显著提升链接预测任务的性能，尤其当结合图结构归纳偏差时。

Figure 3: Connections between different knowledge graph embedding models