[论文解读] Knowledge Graph Embedding: A Survey from the Perspective of Representation Spaces

Jiahang Cao, Jinyuan Fang+2 more|arXiv (Cornell University)|Nov 7, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文从表征空间的视角系统综述了知识图谱嵌入（KGE）技术，基于代数、几何和分析三种数学视角对模型进行分类。该研究基于底层数学空间对KGE方法进行了细粒度分类，分析了其在链接预测和知识补全等任务中的性能与特性，并识别出特定空间的优势（如双曲空间在层次结构中的优势），为模型设计及与大语言模型的融合提供了新的研究方向。

ABSTRACT

Knowledge graph embedding (KGE) is an increasingly popular technique that aims to represent entities and relations of knowledge graphs into low-dimensional semantic spaces for a wide spectrum of applications such as link prediction, knowledge reasoning and knowledge completion. In this paper, we provide a systematic review of existing KGE techniques based on representation spaces. Particularly, we build a fine-grained classification to categorise the models based on three mathematical perspectives of the representation spaces: (1) Algebraic perspective, (2) Geometric perspective, and (3) Analytical perspective. We introduce the rigorous definitions of fundamental mathematical spaces before diving into KGE models and their mathematical properties. We further discuss different KGE methods over the three categories, as well as summarise how spatial advantages work over different embedding needs. By collating the experimental results from downstream tasks, we also explore the advantages of mathematical space in different scenarios and the reasons behind them. We further state some promising research directions from a representation space perspective, with which we hope to inspire researchers to design their KGE models as well as their related applications with more consideration of their mathematical space properties.

研究动机与目标

• 提供基于其底层数学表征空间的知识图谱嵌入（KGE）技术的全面、系统性综述。
• 基于三种数学视角（代数、几何、分析）对现有KGE模型进行分类，给出基础空间的严格定义。
• 分析不同表征空间如何影响嵌入质量、打分函数、优化过程以及在链接预测和知识补全等下游任务中的性能表现。
• 基于实证结果，识别特定空间的优势（如双曲空间在层次结构中的优势，复向量空间在旋转关系中的优势）。
• 提出未来研究方向，包括高效的几何嵌入、理性优化，以及与大语言模型的集成。

提出的方法

• 作者引入并定义了核心数学空间，包括欧几里得空间、双曲空间、球面空间、复向量空间和李群空间，作为KGE的基础表征空间。
• 根据数学结构与性质，将KGE模型划分为三类视角：代数（如TransE、RotatE）、几何（如ATTH、Hyperbolic KGE）和分析（如TorusE、基于NODE的FieldE），并进行分类。
• 针对每一类视角，分析嵌入空间的数学特性（如曲率、可微性、紧致性）及其对模型稳定性和优化的影响。
• 使用MRR、Hits@10等指标，在FB15k-237和YAGO3-10等基准数据集上比较KGE方法，将性能与空间特性关联。
• 提出一个框架以评估空间优势，表明使用双曲空间的模型在层次化知识图谱上优于欧几里得基线。
• 提出未来研究方向，包括混合曲率模型、能效型几何学习，以及用于鲁棒训练的分析优化。

实验结果

研究问题

• RQ1 欧几里得、双曲、球面、复向量和李群等不同数学表征空间如何影响知识图谱嵌入模型的性能与特性？
• RQ2 这些空间的关键数学属性（如曲率、可微性、紧致性）是什么？它们如何影响模型的稳定性、优化与泛化能力？
• RQ3 为何基于双曲空间的模型在捕捉层次结构方面表现更优？实证证据有哪些？
• RQ4 如何利用分析属性（如收敛性与可导性）来设计更可靠、高效的KGE模型？
• RQ5 将KGE与大语言模型集成的有前景研究方向是什么？数学空间属性如何指导这一集成？

主要发现

• 基于双曲空间的模型（如ATTH和Hyperbolic KGE）在层次化知识图谱上表现更优，相较于欧几里得基线，MRR和Hits@10得分更高。
• 复向量空间模型（如RotatE）能有效捕捉旋转与对称关系模式，在涉及逆运算与对称性的关系上优于基于平移的模型（如TransE）。
• 使用紧致李群（如TorusE）的模型因空间的内在几何特性，无需显式正则化即可实现更好的收敛性与稳定性。
• 基于神经ODE的模型（如FieldE）能够实现对多种几何结构（欧几里得、庞加莱、双曲面、球面）的连续、分析式表征，展示了分析视角在统一几何方法方面的潜力。
• 混合曲率与几何交互型KGE模型（如Wang et al. 2021，Cao et al. 2022）在具有混合结构的复杂知识图谱上表现出更强的表达能力，预示着更灵活几何建模的发展路径。
• 高效优化方法（如分段嵌入Peng et al. 2021与低参数设计，如RotH）在保持性能的同时降低了训练成本，凸显了分析优化在可扩展KGE中的重要性。