[论文解读] Knowledge Association with Hyperbolic Knowledge Graph Embeddings

Zequn Sun, Muhao Chen+4 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Graph Neural Networks参考文献 24被引用 9

一句话总结

本文提出 HyperKA，一种基于双曲知识图嵌入的方法，采用双曲关系图神经网络与双曲变换，以在低维空间中捕捉多粒度的知识关联。该方法在实体对齐与类型推理任务上达到最先进性能，即使在嵌入维度低至10–75时仍优于现有方法，同时显著降低内存与参数复杂度。

ABSTRACT

Capturing associations for knowledge graphs (KGs) through entity alignment, entity type inference and other related tasks benefits NLP applications with comprehensive knowledge representations. Recent related methods built on Euclidean embeddings are challenged by the hierarchical structures and different scales of KGs. They also depend on high embedding dimensions to realize enough expressiveness. Differently, we explore with low-dimensional hyperbolic embeddings for knowledge association. We propose a hyperbolic relational graph neural network for KG embedding and capture knowledge associations with a hyperbolic transformation. Extensive experiments on entity alignment and type inference demonstrate the effectiveness and efficiency of our method.

研究动机与目标

• 解决欧几里得嵌入在捕捉知识图中层次结构与不同尺度时的局限性。
• 通过在低维嵌入空间中实现高表达能力，降低参数复杂度与内存消耗。
• 通过跨异构知识图建模多粒度关系，提升知识关联任务（特别是实体对齐与类型推理）的性能。
• 利用双曲空间的指数增长特性，更好地表示具有层次性与尺度差异的知识结构。
• 构建统一框架，联合学习双曲嵌入与变换，用于跨知识图的关联任务。

提出的方法

• HyperKA 采用双曲关系图神经网络（GNN），在输入层使用双曲平移嵌入来编码实体与概念。
• 通过堆叠多层双曲图卷积层，聚合邻域信息，并在双曲空间中生成最终的实体与概念表示。
• 在嵌入空间之间应用可学习的双曲变换，以建模知识关联，如 sameAs（实体对齐）与 instanceOf（类型推理）。
• 通过对比学习目标端到端训练模型，以对齐等价实体并预测正确类型。
• 双曲几何因其半径增长带来的指数体积增长特性，能高效建模层次结构，有利于深层树状结构与尺度差异。
• 该方法支持对实体与概念使用不同嵌入维度（例如，n=75, m=15），从而高效表示大规模实体级与小规模概念级知识图。

实验结果

研究问题

• RQ1 与欧几里得方法相比，双曲几何是否能更好地表示层次性与尺度差异显著的知识图？
• RQ2 低维双曲嵌入是否能在降低内存与参数复杂度的同时，实现知识关联任务的竞争力表现？
• RQ3 双曲变换在捕捉跨不同知识图的实体与概念之间多粒度关联方面是否有效？
• RQ4 在低维设置下，HyperKA 是否在实体对齐与类型推理任务上优于最先进方法？
• RQ5 该模型是否能在聚类相关实体的同时，保持不同概念类型之间的结构间隙？

主要发现

• 在实体对齐任务中，HyperKA 在 H@1 上相比先前方法提升 0.14 以上，即使在维度为 50 时仍表现优异。
• 在类型推理任务中，HyperKA (75,15) 在 DB111K-174 上达到 H@1 = 0.778，相比 JOIE 提升 0.022，且维度显著更低。
• HyperKA (150,30) 在所有数据集上均取得 H@1 与 MRR 的最佳性能，且在 300,50 维度下未见进一步提升。
• 即使在最低维度 10 时，HyperKA 仍保持竞争力表现，证明其在低容量下的强表达能力。
• 可视化结果表明，与不同概念（如 Film 与 Album）关联的实体簇之间存在清晰分离，证实了结构保留的有效性。
• 在相同低维设置（如 75,15）下，基线方法表现显著更差，MTransE 的 H@1 ≤ 0.357，凸显 HyperKA 的优越性。