[论文解读] ExpressivE: A Spatio-Functional Embedding For Knowledge Graph Completion

Aleksandar Pavlović, Emanuel Sallinger|arXiv (Cornell University)|Jun 8, 2022

Advanced Graph Neural Networks被引用 12

一句话总结

该论文提出 ExpressivE，一种新颖的知识图谱嵌入模型，将实体表示为二维虚拟三元组空间 R^{2d} 中的点，将关系表示为超平行四边形，从而实现完全的表达能力，并提供直观的几何解释以理解推理模式。通过同时捕捉一般复合关系与层次结构，该模型在 WN18RR 上达到最先进性能，在 FB15k-237 上取得具有竞争力的结果，而这是以往任何知识图谱嵌入模型都无法同时实现的。

ABSTRACT

Knowledge graphs are inherently incomplete. Therefore substantial research has been directed toward knowledge graph completion (KGC), i.e., predicting missing triples from the information represented in the knowledge graph (KG). KG embedding models (KGEs) have yielded promising results for KGC, yet any current KGE is incapable of: (1) fully capturing vital inference patterns (e.g., composition), (2) capturing prominent patterns jointly (e.g., hierarchy and composition), and (3) providing an intuitive interpretation of captured patterns. In this work, we propose ExpressivE, a fully expressive spatio-functional KGE that solves all these challenges simultaneously. ExpressivE embeds pairs of entities as points and relations as hyper-parallelograms in the virtual triple space $\mathbb{R}^{2d}$. This model design allows ExpressivE not only to capture a rich set of inference patterns jointly but additionally to display any supported inference pattern through the spatial relation of hyper-parallelograms, offering an intuitive and consistent geometric interpretation of ExpressivE embeddings and their captured patterns. Experimental results on standard KGC benchmarks reveal that ExpressivE is competitive with state-of-the-art KGEs and even significantly outperforms them on WN18RR.

研究动机与目标

• 解决现有知识图谱嵌入模型无法同时捕捉一般复合关系与层次结构模式的局限性。
• 开发一种知识图谱嵌入模型，通过高维空间中的空间关系提供所捕获推理模式的直观几何解释。
• 通过支持所有标准推理模式（包括一般复合关系）实现知识图谱补全的完全表达能力。
• 设计一种结合空间型与功能型知识图谱嵌入模型优势的模型，克服如 TransE 和 RotatE 等仅基于功能的模型的局限性。

提出的方法

• ExpressivE 在 R^{2d} 的二维虚拟三元组空间中将实体对表示为点，将关系表示为超平行四边形，以空间化方式表示复杂推理模式。
• 该模型基于超平行四边形之间的几何关系，使用功能型评分函数，实现对复合关系与层次关系的精确建模。
• 引入最小分母约束 D_min 以控制超平行四边形的大小，确保空间表示的稳定性和语义意义。
• 模型采用自适应对抗负采样，并通过基于边距的损失函数优化排序性能。
• 支持多种变体（如 Functional、EqSlopes、NoCenter），以研究几何约束与设计选择的影响。
• 通过手动搜索调整学习率、边距、温度、负样本数和 D_min 等超参数，并为每个基准选择最佳设置。

实验结果

研究问题

• RQ1 是否存在一种知识图谱嵌入模型，能够同时捕捉一般复合关系与层次结构模式，而这是现有模型无法同时实现的？
• RQ2 在二维空间中，超平行四边形的空间构型是否能为复杂推理模式提供直观且一致的几何解释？
• RQ3 是否可能设计一种完全表达的知识图谱嵌入模型，支持所有标准推理模式，包括复合定义与一般复合关系？
• RQ4 与仅基于功能的模型（如 RotatE）和仅基于空间的模型（如 BoxE）相比，ExpressivE 的几何设计在性能与表达能力方面表现如何？

主要发现

• ExpressivE 在 WN18RR 基准上达到最先进性能，其过滤后的 Hits@10 和 Hits@3 显著优于现有最先进模型。
• 在 FB15k-237 上，ExpressivE 取得具有竞争力的结果，展现出在多样化知识图谱结构上的强大泛化能力。
• 该模型具备完全表达能力，能够捕获表 1 中列出的所有推理模式，包括一般复合关系与层次结构，而这是以往任何知识图谱嵌入模型都无法同时实现的。
• 消融实验表明，超平行四边形设计与 D_min 约束显著提升了性能与几何可解释性。
• 在 WN18RR 上表现最佳的 ExpressivE 变体在过滤后的 Hits@10 达到 98.7%，超过 RotatE 和 BoxE。
• 该模型的几何解释具有一致性与直观性，超平行四边形之间的空间关系可直接反映其所代表的逻辑推理模式。