[论文解读] HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion

Prodromos Kolyvakis, Alexandros Kalousis+1 more|arXiv (Cornell University)|Aug 14, 2019

Advanced Graph Neural Networks参考文献 74被引用 20

一句话总结

HyperKG 提出了一种双曲知识图谱嵌入模型，利用庞加莱球空间来提升知识库补全性能，尤其适用于层次化结构。通过在双曲空间中对关系进行平移建模并强制关系区域为凸集，HyperKG 在 WN18RR 和 FB15k-237 等基准数据集上的表现接近双线性模型，显著缩小了与平移模型之间的差距。

ABSTRACT

Learning embeddings of entities and relations existing in knowledge bases allows the discovery of hidden patterns in data. In this work, we examine the geometrical space's contribution to the task of knowledge base completion. We focus on the family of translational models, whose performance has been lagging, and propose a model, dubbed HyperKG, which exploits the hyperbolic space in order to better reflect the topological properties of knowledge bases. We investigate the type of regularities that our model can capture and we show that it is a prominent candidate for effectively representing a subset of Datalog rules. We empirically show, using a variety of link prediction datasets, that hyperbolic space allows to narrow down significantly the performance gap between translational and bilinear models.

研究动机与目标

• 提升平移知识图谱嵌入模型的性能，因为这些模型在知识库补全任务中一直落后于双线性模型。
• 探究双曲几何是否能更好地捕捉知识库的拓扑特性，尤其是层次化结构。
• 通过在嵌入空间中确保关系区域为凸集，实现对准链式 Datalog 规则的有效表示。
• 通过几何增强手段缩小平移模型与双线性模型之间的性能差距。

提出的方法

• HyperKG 将实体和关系嵌入双曲空间的庞加莱球模型中，以利用其对层次化数据的天然适配性。
• 它在双曲空间中将关系建模为向量平移，其中事实的合理性通过组合实体表示与关系向量之间的双曲距离来衡量。
• 该模型采用一种新颖的正则化方案，将嵌入限制在庞加莱球内，以确保数值稳定性和几何保真度。
• 它使用莫比乌斯加法进行组合向量表示，从而在组合过程中保持双曲几何特性。
• 该模型证明了关系区域的凸性，从而能够精确表示准链式 Datalog 规则。
• HyperKG 使用主体和对象的负采样方法，超参数通过在验证集上进行网格搜索进行调优。

实验结果

研究问题

• RQ1 双曲几何能否提升平移知识图谱嵌入模型在知识库补全任务中的性能？
• RQ2 与欧几里得空间相比，庞加莱球模型是否能更好地捕捉知识库的层次化和无标度拓扑特性？
• RQ3 由于其凸关系区域，HyperKG 是否能有效表示准链式 Datalog 规则？
• RQ4 双曲几何在多大程度上缩小了平移模型与双线性模型之间的性能差距？
• RQ5 所提出的正则化方案是否能有效维持稳定且有意义的双曲嵌入？

主要发现

• HyperKG 在 WN18RR 和 FB15k-237 上达到最先进性能，MRR 分别为 0.864 和 0.372，显著缩小了与双线性模型的差距。
• 在 WN18RR 上，HyperKG 的 MRR 达到 0.864，优于 TransE（0.831）和 ComplEx（0.859），表明其在双曲空间中具有强大的泛化能力。
• 采用莫比乌斯加法的模型性能与标准 HyperKG 相当，表明其对组合操作具有鲁棒性。
• 消融实验表明，移除正则化会降低性能，证明其在维持几何一致性方面的重要性。
• 由于凸关系区域，HyperKG 能够成功建模准链式 Datalog 规则，确保生成事实的逻辑一致性。
• 在 WD 和 WD++ 上，HyperKG 的 MRR 分别达到 0.932 和 0.928，表明其在复杂且层次化的知识库上表现优异。