[论文解读] Link Prediction on N-ary Relational Facts: A Graph-based Approach

Quan Wang, Haifeng Wang+2 more|arXiv (Cornell University)|May 18, 2021

Advanced Graph Neural Networks参考文献 39被引用 5

一句话总结

本文提出 GRAN，一种基于图的 n 元关系事实链接预测方法，通过将每个事实建模为异构图，并使用边偏置全连接注意力机制捕捉局部与全局依赖关系。GRAN 在多个 n 元链接预测基准上达到最先进性能，展现出在建模复杂多实体关系结构方面的卓越有效性。

ABSTRACT

Link prediction on knowledge graphs (KGs) is a key research topic. Previous work mainly focused on binary relations, paying less attention to higher-arity relations although they are ubiquitous in real-world KGs. This paper considers link prediction upon n-ary relational facts and proposes a graph-based approach to this task. The key to our approach is to represent the n-ary structure of a fact as a small heterogeneous graph, and model this graph with edge-biased fully-connected attention. The fully-connected attention captures universal inter-vertex interactions, while with edge-aware attentive biases to particularly encode the graph structure and its heterogeneity. In this fashion, our approach fully models global and local dependencies in each n-ary fact, and hence can more effectively capture associations therein. Extensive evaluation verifies the effectiveness and superiority of our approach. It performs substantially and consistently better than current state-of-the-art across a variety of n-ary relational benchmarks. Our code is publicly available.

研究动机与目标

• 填补链接预测研究中针对 n 元关系事实的空白，这类事实常见于现实世界的知识图谱，但相较于二元关系，其研究仍显不足。
• 克服先前方法将属性同等对待或独立建模的局限，忽略 n 元事实内部固有的语义关系。
• 提出一个统一框架，通过将 n 元事实表示为结构化的异构图，完整保留其语义信息。
• 实现对 n 元事实中局部（顶点级）和全局（图级）依赖关系的有效建模，以提升链接预测性能。
• 通过新颖的端到端图学习方法，建立 n 元链接预测的新最先进水平。

提出的方法

• 将每个 n 元事实表示为异构图，其中节点代表实体（主体、客体、取值）和关系（关系、属性），并定义四种边类型：主体-关系、客体-关系、关系-属性和属性-取值。
• 应用全连接注意力机制，建模图表示中所有节点之间的通用交互关系。
• 引入边感知注意力偏置，编码结构和异构性特定信息，增强模型对图拓扑结构的敏感性。
• 利用生成的图编码表示，通过评分主三元组及其与辅助属性-取值对的兼容性，预测缺失链接。
• 设计架构时省去独立的图编码器，转而依赖注意力机制在解码阶段的表达能力，从而降低计算开销。
• 使用标准链接预测损失函数端到端训练模型，注意力权重根据边类型和节点交互动态调整。

实验结果

研究问题

• RQ1 基于图的方法能否有效建模 n 元关系事实的完整结构与语义复杂性，以支持链接预测？
• RQ2 与将属性独立处理的方法相比，在 n 元事实内部同时建模局部与全局依赖关系，是否能显著提升链接预测性能？
• RQ3 引入边感知注意力偏置在多大程度上增强了模型捕捉 n 元事实中异构性与结构模式的能力？
• RQ4 所提出的 GRAN 框架是否在多样化的 n 元链接预测基准上超越现有最先进方法？
• RQ5 GRAN 在不同类型 n 元事实（包括实体与关系数量各异的事实）上表现出多强的鲁棒性？

主要发现

• GRAN 在多个 n 元关系链接预测基准上持续且显著优于当前最先进方法，确立了新的 SOTA 水平。
• 通过捕捉实体间的局部交互以及整个 n 元事实结构的全局依赖关系，模型实现了显著的性能提升。
• 引入边感知注意力偏置有助于更好地建模图的异构性与连通性模式，从而提升表征学习效果。
• GRAN 的设计摒弃了独立图编码器，依赖基于注意力的解码机制，显著降低了计算成本，同时保持高性能。
• 该方法能有效建模复杂 n 元事实，如涉及玛丽·居里、诺贝尔奖及共同获奖者的五元事实，完整保留语义丰富性与关系关联。
• 该方法在多样化基准上泛化能力强，包括高阶事实与复杂的属性-取值关系。