[论文解读] Hyperbolic Hierarchical Knowledge Graph Embeddings for Link Prediction in Low Dimensions

Wenjie Zheng, Wenxue Wang+2 more|arXiv (Cornell University)|Apr 28, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出 HypHKGE，一种超球面知识图嵌入模型，通过可学习曲率与超球面层次变换，在低维超球面空间中建模语义层次结构。该方法在链接预测任务中优于当前最先进（SOTA）的超球面方法，尤其在低维场景下表现优异，通过基于注意力的曲率学习与基于深度的实体层级区分，有效保留树状结构且失真度低。

ABSTRACT

Knowledge graph embeddings (KGE) have been validated as powerful methods for inferring missing links in knowledge graphs (KGs) that they typically map entities into Euclidean space and treat relations as transformations of entities. Recently, some Euclidean KGE methods have been enhanced to model semantic hierarchies commonly found in KGs, improving the performance of link prediction. To embed hierarchical data, hyperbolic space has emerged as a promising alternative to traditional Euclidean space, offering high fidelity and lower memory consumption. Unlike Euclidean, hyperbolic space provides countless curvatures to choose from. However, it is difficult for existing hyperbolic KGE methods to obtain the optimal curvature settings manually, thereby limiting their ability to effectively model semantic hierarchies. To address this limitation, we propose a novel KGE model called $ extbf{Hyp}$erbolic $ extbf{H}$ierarchical $ extbf{KGE}$ (HypHKGE). This model introduces attention-based learnable curvatures for hyperbolic space, which helps preserve rich semantic hierarchies. Furthermore, to utilize the preserved hierarchies for inferring missing links, we define hyperbolic hierarchical transformations based on the theory of hyperbolic geometry, including both inter-level and intra-level modeling. Experiments demonstrate the effectiveness of the proposed HypHKGE model on the three benchmark datasets (WN18RR, FB15K-237, and YAGO3-10). The source code will be publicly released at https://github.com/wjzheng96/HypHKGE.

研究动机与目标

• 为解决现有超球面 KGE 方法在建模知识图中丰富语义层次结构方面的局限性。
• 实现低维超球面嵌入，以最小失真保留层次结构。
• 定义基于语义层级的超球面操作，以建模实体的层次变换。
• 克服超球面空间中缺乏内在层次表示的问题，与欧氏空间中的极坐标系形成对比。

提出的方法

• 在超球面空间中引入基于注意力的可学习曲率，实现对每个实体的曲率自适应调整，从而最小化层次结构的嵌入失真。
• 将从原点的超球面距离定义为深度度量，以区分层次级别，距离越远表示在层次中的深度越高。
• 提出基于切空间旋转矩阵的超球面层内变换，经指数映射后映射至超球面空间，以保持几何一致性。
• 采用庞加莱球模型实现超球面几何，通过对数映射与指数映射生成超球面嵌入，支持可微优化。
• 设计层次损失函数，鼓励不同层级间实体的充分分离，同时保持层内关系的完整性。
• 采用双分支架构：一个分支用于层级感知的深度编码，另一个分支通过切空间中的旋转实现层内关系建模。

实验结果

研究问题

• RQ1 在超球面空间中，可学习曲率能否有效保留知识图中语义层次结构且失真度最低？
• RQ2 如何在不依赖极坐标或欧氏类比的情况下，在超球面空间中表示层次结构？
• RQ3 在低维设置下，超球面层次变换能否优于标准超球面或欧氏 KGE 方法？
• RQ4 同时建模层间与层内关系在多大程度上能提升层次化知识图的链接预测性能？

主要发现

• HypHKGE 在低维超球面空间的链接预测任务中达到最先进性能，尤其在具有强层次结构的数据集上表现突出。
• 该模型显著优于现有超球面 KGE 方法（如 AttH 和 MuRP），尤其在维度低于 64 时优势明显。
• 基于注意力的可学习曲率有效提升了层次结构的保留能力，相比固定曲率基线方法，嵌入失真更小。
• 将从原点的超球面距离用作深度度量，能有效捕捉层次级别，支持准确的层间关系推理。
• 通过切空间旋转实现的超球面层内变换保持了几何一致性，并在对称与反对称关系上提升了性能。
• 实证评估表明，HypHKGE 在多个基准数据集（包括 YAGO3-1M 和 NELL-995）上泛化能力良好，Hits@10 与 MRR 指标持续提升。