[论文解读] InterHT: Knowledge Graph Embeddings by Interaction between Head and Tail Entities

Baoxin Wang, Qingye Meng+7 more|arXiv (Cornell University)|Feb 10, 2022

Advanced Graph Neural Networks被引用 10

一句话总结

本文提出 InterHT，一种新颖的基于距离的知识图谱嵌入模型，通过引入辅助向量对头实体和尾实体进行逐元素相乘，实现二者之间的双向交互，从而增强实体表示。通过融合跨实体信息，InterHT 在 ogbl-wikikg2 数据集上取得最先进性能，InterHT+ 变体结合 DigPiece 实现 72.93% 的 MRR。

ABSTRACT

Knowledge graph embedding (KGE) models learn the representation of entities and relations in knowledge graphs. Distance-based methods show promising performance on link prediction task, which predicts the result by the distance between two entity representations. However, most of these methods represent the head entity and tail entity separately, which limits the model capacity. We propose two novel distance-based methods named InterHT and InterHT+ that allow the head and tail entities to interact better and get better entity representation. Experimental results show that our proposed method achieves the best results on ogbl-wikikg2 dataset.

研究动机与目标

• 解决现有基于距离的知识图谱嵌入模型中头实体与尾实体独立表示所导致的模型容量有限的问题。
• 通过在表示学习过程中实现头尾实体之间的动态交互，提升链接预测性能。
• 通过上下文感知的实体表示，增强大规模知识图谱中的表达能力与泛化能力。
• 在知识图谱补全的 ogbl-wikikg2 基准数据集上实现最先进结果。

提出的方法

• InterHT 引入一种机制，其中最终的头实体表示通过原始头嵌入与来自尾实体的辅助向量进行逐元素相乘得到。
• 类似地，最终的尾实体表示通过将原始尾嵌入与来自头实体的辅助向量相乘获得，从而实现双向交互。
• 该模型使用基于距离的打分函数，通过测量更新后的头尾表示之间的接近程度来预测链接的合理性。
• InterHT+ 通过更高维的嵌入（512维）并集成 DigPiece，提升对未见实体的泛化能力。
• 该方法使用 Adam 优化器进行端到端训练，学习率为 5e-4，负采样大小为 128。
• 在 ogbl-wikikg2 上使用 MRR 和 Hits@10 作为评估指标，并通过 NodePiece 和 DigPiece 进行消融实验以验证可扩展性。

实验结果

研究问题

• RQ1 头尾实体之间的双向交互是否能够提升基于距离的知识图谱嵌入模型的表示能力？
• RQ2 通过逐元素相乘引入跨实体信息，是否能带来链接预测任务中更好的泛化能力与性能表现？
• RQ3 在大规模知识图谱上，InterHT 与 RotatE、PairRE 和 TripleRE 等最先进模型相比表现如何？
• RQ4 集成 DigPiece 或 NodePiece 是否能进一步提升 InterHT 在 OOV（未见）实体上的性能与鲁棒性？

主要发现

• 当结合 NodePiece 时，InterHT 在 ogbl-wikikg2 数据集上实现 67.79% 的 MRR，较 TripleRE 提升 1.97 个百分点。
• 结合 DigPiece 的 InterHT+ 变体在 ogbl-wikikg2 测试集上实现 72.93% 的最先进 MRR。
• 与 TransE、RotatE、PairRE 和 ComplEx 等基线模型相比，该模型表现出更优性能，验证了跨实体交互的有效性。
• 结合 DigPiece 使用显著提升了泛化能力，尤其在未见实体上，归因于基于锚点的实体标记化机制。
• 消融实验结果证实，InterHT 中的交互机制是提升模型容量与预测准确率的关键因素。
• 结果验证了通过跨实体乘法实现的动态、上下文感知实体表示，能显著提升链接预测性能。