[论文解读] Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction

Zhanqiu Zhang, Jianyu Cai+2 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Graph Neural Networks参考文献 29被引用 27

一句话总结

该论文提出 HAKE，一种新颖的知识图嵌入模型，通过将实体映射到极坐标系来显式建模语义层次结构——使用径向距离（模长）表示层次级别，使用角度坐标（相位）表示同一层次的实体。HAKE 在链接预测基准测试中显著优于最先进方法，在 FB15k 数据集上达到 H@10 为 0.884，证明其在捕捉层次结构方面的有效性。

ABSTRACT

Knowledge graph embedding, which aims to represent entities and relations as low dimensional vectors (or matrices, tensors, etc.), has been shown to be a powerful technique for predicting missing links in knowledge graphs. Existing knowledge graph embedding models mainly focus on modeling relation patterns such as symmetry/antisymmetry, inversion, and composition. However, many existing approaches fail to model semantic hierarchies, which are common in real-world applications. To address this challenge, we propose a novel knowledge graph embedding model -- namely, Hierarchy-Aware Knowledge Graph Embedding (HAKE) -- which maps entities into the polar coordinate system. HAKE is inspired by the fact that concentric circles in the polar coordinate system can naturally reflect the hierarchy. Specifically, the radial coordinate aims to model entities at different levels of the hierarchy, and entities with smaller radii are expected to be at higher levels; the angular coordinate aims to distinguish entities at the same level of the hierarchy, and these entities are expected to have roughly the same radii but different angles. Experiments demonstrate that HAKE can effectively model the semantic hierarchies in knowledge graphs, and significantly outperforms existing state-of-the-art methods on benchmark datasets for the link prediction task.

研究动机与目标

• 为解决现有知识图嵌入模型在捕捉语义层次结构方面的局限性。
• 开发一种无需外部层次标注即可自动建模层次结构的方法。
• 通过显式表示不同层次及同一层次的实体，提升链接预测性能。
• 验证极坐标表示（模长与相位）是否能有效捕捉知识图中的层次语义。

提出的方法

• HAKE 将实体映射到极坐标系中，其中模长（径向坐标）编码层次级别，半径越小表示层级越高。
• 相位（角坐标）用于区分同一层次的实体，为其分配不同的角度，同时保持相近的模长值。
• 模型在复数空间中对实体和关系嵌入执行哈达玛积（Hadamard product），随后进行模长-相位分解，以分离层次信息与关系信息。
• 引入可学习偏置项以提升性能，尤其在区分同一层次实体时表现更优。
• 损失函数结合负采样与基于边距的排序目标，以优化嵌入空间。
• 模型在标准链接预测数据集上使用随机梯度下降进行端到端训练。

实验结果

研究问题

• RQ1 知识图嵌入模型是否能在不依赖外部层次标注的情况下有效捕捉语义层次结构？
• RQ2 与现有方法相比，使用极坐标系中的模长与相位建模实体是否能显著提升链接预测性能？
• RQ3 模长与相位分量在建模层次语义方面各自贡献程度如何？
• RQ4 HAKE 中模长与相位的结合是否在多样化的基准数据集上均带来一致的性能提升？

主要发现

• HAKE 在 FB15k 数据集上取得 H@10 得分为 0.884，显著优于最佳 TKRL 变体（0.734）及其他最先进模型。
• 消融实验表明，仅使用相位分量（pRotatE）的性能优于仅使用模长分量，但完整 HAKE 模型（同时包含两者）达到最佳性能。
• 偏置项在 YAGO3-10 数据集上将 H@1 性能提升 4.7%，证明其在细化预测方面的有效性。
• 可视化结果证实，HAKE 在嵌入空间中形成清晰的同心圆结构，表明其有效建模了层次级别。
• RotatE 无法区分层次级别，实体嵌入在二维平面上混杂分布；而 HAKE 明确按层级分离实体。
• 在 WN18RR 上，HAKE 通过结构化的径向与角度模式成功可视化了诸如上下位关系（hypernymy）和整体-部分关系（meronymy）等层次关系。