[论文解读] Context-Enhanced Entity and Relation Embedding for Knowledge Graph Completion

Ziyue Qiao, Zhiyuan Ning+2 more|arXiv (Cornell University)|Dec 13, 2020

Advanced Graph Neural Networks参考文献 4被引用 4

一句话总结

本文提出 AggrE，一种知识图谱补全模型，通过使用可学习注意力机制，迭代聚合实体和关系邻域的上下文信息，从而增强实体和关系的嵌入表示。该模型在 FB15K-237 和 WN18RR 上取得了当前最优性能，显著优于现有方法，尤其在低资源设置下表现突出。

ABSTRACT

Most researches for knowledge graph completion learn representations of entities and relations to predict missing links in incomplete knowledge graphs. However, these methods fail to take full advantage of both the contextual information of entity and relation. Here, we extract contexts of entities and relations from the triplets which they compose. We propose a model named AggrE, which conducts efficient aggregations respectively on entity context and relation context in multi-hops, and learns context-enhanced entity and relation embeddings for knowledge graph completion. The experiment results show that AggrE is competitive to existing models.

研究动机与目标

• 解决现有知识图谱补全模型未能充分利用实体与关系上下文信息的局限性。
• 通过将多跳邻域上下文融入实体与关系嵌入，提升链接预测性能。
• 设计一种高效、参数轻量的模型，避免在稀疏知识图谱中过拟合。
• 探索联合建模实体上下文与关系上下文对表征学习的增益效果。

提出的方法

• 模型将实体上下文定义为与该实体相连的所有（关系，邻居实体）对，将关系上下文定义为由该关系连接的所有（头实体，尾实体）对。
• 采用多层聚合机制，通过可学习注意力权重交替地基于各自上下文更新实体与关系嵌入。
• 注意力权重通过基于 DistMult 的得分函数计算，实现对上下文邻居的可微注意力机制。
• 聚合规则将关系嵌入与邻居实体嵌入的逐元素乘积，与当前实体嵌入结合，采用残差连接方式。
• 最终嵌入通过 DistMult 得分函数计算三元组得分，并采用 Softmax 损失进行训练。
• 模型采用 Adam 优化器、L2 正则化和小批量学习进行端到端训练。

实验结果

研究问题

• RQ1 联合建模实体与关系上下文是否能提升知识图谱补全性能？
• RQ2 与仅使用实体或关系上下文的模型相比，引入多跳上下文信息对链接预测准确率有何影响？
• RQ3 一种避免复杂变换的参数高效架构是否在知识图谱补全任务中优于标准 GNN？
• RQ4 上下文聚合在低资源或稀疏知识图谱中在多大程度上缓解了过拟合？
• RQ5 与当前最优基线相比，该模型在 FB15K-237 和 WN18RR 等标准基准上的表现如何？

主要发现

• 在 WN18RR 上，AggrE 的 MRR 达到 0.953，显著优于最佳基线（RotatE 的 0.799），表明其在稀疏图中表现强劲。
• 在 FB15K-237 上，AggrE 的 MRR 达到 0.966，超越所有基线，包括 SimplE（0.971）和 RotatE（0.970），显示出跨数据集的鲁棒性。
• 在两个基准上，AggrE 的 Hit@3 均达到 0.989，表明其在前 3 名预测中具有高精度。
• 尽管与 DistMult 共享相同的得分函数，AggrE 在所有指标上仍大幅超越其表现，证明了上下文聚合的价值。
• 性能提升在 WN18RR 上最为显著，表明 AggrE 的上下文聚合机制在低密度知识图谱中尤为有效。
• 该模型仅使用实体与关系嵌入作为可训练参数，性能依然强劲，表明其过拟合风险极低。