[论文解读] Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

Deepak Nathani, Jatin Chauhan+2 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出了一种新型图注意力网络，通过捕捉知识图谱中多跳实体与关系特征，实现更优的关系预测。通过将注意力机制扩展至包含多个跳数的节点与边，并利用关系组合来保持长程依赖，该模型在性能上达到当前最先进水平，包括在FB15K-237数据集上Hits@1提升104%。

ABSTRACT

The recent proliferation of knowledge graphs (KGs) coupled with incomplete or partial information, in the form of missing relations (links) between entities, has fueled a lot of research on knowledge base completion (also known as relation prediction). Several recent works suggest that convolutional neural network (CNN) based models generate richer and more expressive feature embeddings and hence also perform well on relation prediction. However, we observe that these KG embeddings treat triples independently and thus fail to cover the complex and hidden information that is inherently implicit in the local neighborhood surrounding a triple. To this effect, our paper proposes a novel attention based feature embedding that captures both entity and relation features in any given entity's neighborhood. Additionally, we also encapsulate relation clusters and multihop relations in our model. Our empirical study offers insights into the efficacy of our attention based model and we show marked performance gains in comparison to state of the art methods on all datasets.

研究动机与目标

• 解决现有知识嵌入模型将三元组孤立处理、无法捕捉局部邻域中潜在语义丰富关系的局限性。
• 通过建模知识图谱中的复杂隐藏多跳关系与关系簇，提升关系预测性能。
• 将图注意力机制泛化，以联合关注多跳邻域中的实体与关系特征。
• 通过引入关系组合提升模型表达能力，确保随着模型深度增加，仍能保持长程依赖的流动。
• 在标准基准上展示优于当前最先进方法的知识库补全性能。

提出的方法

• 提出一种广义图注意力机制，可关注给定实体多跳邻域中的节点（实体）与边（关系）特征。
• 采用多层编码器-解码器架构，其中编码器使用所提出的图注意力机制，解码器使用ConvKB进行关系预测。
• 应用Lin等人（2015）的关系组合方法，在n跳邻居之间创建辅助边，以实现远距离实体间的信息有效流动。
• 通过多层迭代消息传递传播注意力权重，使模型能够动态聚焦于相关实体与关系。
• 使用负采样与链接预测损失端到端训练模型，以优化实体与关系表征学习。
• 利用注意力分数识别并优先关注语义相关的子图，包括聚类关系与高PageRank节点。

实验结果

研究问题

• RQ1 一种能联合建模多跳邻域中实体与关系的图注意力机制，是否能提升知识图谱中的关系预测性能？
• RQ2 关系簇与多跳关系的引入，对知识嵌入模型性能有何影响？
• RQ3 注意力特征聚合在知识库补全中，与独立三元组处理相比，其性能优势有多大？
• RQ4 关系组合的使用是否能提升模型在深层架构中捕捉长程依赖的能力？
• RQ5 注意力分布在训练过程中如何演化？是否与图的PageRank等结构属性相关？

主要发现

• 与当前最先进方法相比，该模型在FB15K-237数据集上的Hits@1指标实现了104%的提升。
• 在WN18RR数据集上，该模型在Hits@1与Hits@10上均表现出显著提升，但性能增益不如在FB15K-237上明显。
• 消融实验表明，移除关系特征会导致性能大幅下降，表明其在关系预测中起着关键作用。
• 该模型的注意力机制收敛后聚焦于直接邻居，同时仍能捕捉到有信息量的多跳与聚类关系模式。
• 观察到节点PageRank与相对MRR提升之间存在强烈正相关（r = 0.808），表明密集区域最受益于注意力机制。
• 该模型在高度稀疏且具有层次结构的图（如WN18RR）上表现较差，表明其在捕捉自顶向下递归依赖方面存在局限。