[论文解读] Knowledge Graph Embedding using Graph Convolutional Networks with Relation-Aware Attention

Nasrullah Sheikh, Xiao Qin+4 more|arXiv (Cornell University)|Feb 14, 2021

Advanced Graph Neural Networks参考文献 22被引用 7

一句话总结

本文提出 RelAtt，一种关系感知的图注意力机制，通过在图卷积网络的特征聚合过程中，基于关系类型动态加权邻近实体，从而增强知识图谱嵌入。该方法通过利用关系语义，在链接预测和无监督实体匹配任务中优于当前最先进基线模型，尤其在低上下文条件下表现更优。

ABSTRACT

Knowledge graph embedding methods learn embeddings of entities and relations in a low dimensional space which can be used for various downstream machine learning tasks such as link prediction and entity matching. Various graph convolutional network methods have been proposed which use different types of information to learn the features of entities and relations. However, these methods assign the same weight (importance) to the neighbors when aggregating the information, ignoring the role of different relations with the neighboring entities. To this end, we propose a relation-aware graph attention model that leverages relation information to compute different weights to the neighboring nodes for learning embeddings of entities and relations. We evaluate our proposed approach on link prediction and entity matching tasks. Our experimental results on link prediction on three datasets (one proprietary and two public) and results on unsupervised entity matching on one proprietary dataset demonstrate the effectiveness of the relation-aware attention.

研究动机与目标

• 解决现有图卷积网络在知识图谱中对所有邻居分配相等权重、而忽略关系类型的问题。
• 通过将关系特定语义融入注意力机制，提升实体与关系的表征学习能力。
• 利用关系感知注意力机制，提升链接预测与无监督实体匹配的性能。
• 开发一种归纳模型，能够泛化至知识图谱中的未见节点。

提出的方法

• 提出一种关系感知的掩码注意力机制，基于实体特征与关系类型计算注意力分数。
• 将注意力机制集成到图卷积网络中，在特征传播过程中动态加权来自邻近节点的消息。
• 使用评分函数优化嵌入，使有效三元组得分高于无效三元组。
• 将训练好的模型用于查询图中实体的嵌入推理，以支持下游实体匹配任务。
• 利用学习到的嵌入之间的余弦相似度，在查询图与参考图之间执行无监督实体匹配。
• 在完整知识图谱上使用链接预测目标端到端训练模型，实现对未见节点的归纳迁移。

实验结果

研究问题

• RQ1 关系感知注意力机制是否能通过考虑关系在邻居聚合中的语义角色，提升知识图谱嵌入效果？
• RQ2 在多样化数据集上，与当前最先进基于 GCN 的方法相比，所提出的 RelAtt 模型在链接预测任务中的表现如何？
• RQ3 注意力机制在上下文信息有限的情况下，对无监督实体匹配的提升程度如何，尤其是在上下文稀疏时？
• RQ4 当查询图中仅包含部分邻居时（即低上下文场景），该模型是否仍能保持性能？

主要发现

• 在专有的 Comp 数据集上，RelAtt 在阈值为 0.5 时 Hits@1 达到 0.7736，优于 BERT（0.7373）和 RGCN（0.7250）。
• 在低上下文阈值（th=0.2）下，RelAtt 维持了高性能（Hits@1: 0.7380），而 RGCN 显著下降（Hits@1: 0.6248），表明其对上下文受限场景具有更强鲁棒性。
• 随着阈值提高（th=0.5），RelAtt 继续提升性能，Hits@10 达到 0.8919，表明在丰富上下文下具备优异泛化能力。
• 该模型在实体匹配任务中显著优于 BERT 和 RGCN，尤其在上下文信息稀疏时，归因于其基于关系语义加权邻居的能力。
• 在 th=0.5 时，RelAtt 在实体匹配任务中 Hits@30 达到 92.45%，表明其在所有 top-k 评估指标上均表现优异。
• 消融实验表明，关系感知注意力至关重要：缺乏关系特定加权的模型（如 RGCN）性能较差，尤其在低上下文场景下。