[论文解读] Modeling Relational Data with Graph Convolutional Networks

Michael Schlichtkrull, Thomas Kipf+4 more|arXiv (Cornell University)|Mar 17, 2017

Advanced Graph Neural Networks参考文献 40被引用 85

一句话总结

本论文提出关系图卷积网络（R-GCNs）用于多关系知识图谱，并展示了它们在实体分类和链接预测方面的效果，其中在将 R-GCN 编码器与 DistMult 解码器结合时，在 FB15k-237 上实现了 29.8% 的显著提升。

ABSTRACT

Knowledge graphs enable a wide variety of applications, including question answering and information retrieval. Despite the great effort invested in their creation and maintenance, even the largest (e.g., Yago, DBPedia or Wikidata) remain incomplete. We introduce Relational Graph Convolutional Networks (R-GCNs) and apply them to two standard knowledge base completion tasks: Link prediction (recovery of missing facts, i.e. subject-predicate-object triples) and entity classification (recovery of missing entity attributes). R-GCNs are related to a recent class of neural networks operating on graphs, and are developed specifically to deal with the highly multi-relational data characteristic of realistic knowledge bases. We demonstrate the effectiveness of R-GCNs as a stand-alone model for entity classification. We further show that factorization models for link prediction such as DistMult can be significantly improved by enriching them with an encoder model to accumulate evidence over multiple inference steps in the relational graph, demonstrating a large improvement of 29.8% on FB15k-237 over a decoder-only baseline.

研究动机与目标

• 动机并解决不完整的大规模知识库（例如 Yago、DBPedia、Wikidata），并在知识图谱中预测缺失信息。
• 开发一个能够处理高度多关系数据的编码器模型（R-GCN）。
• 证明 R-GCN 在实体分类和链接预测方面的有效性。
• 证明用 R-GCN 编码器丰富因子分解模型在具有挑战性数据集上的性能提升。

提出的方法

• 定义具有关系特定变换和归一化的邻居聚合的关系图卷积网络（方程2）。
• 引入用于多关系权重共享的正则化技术：基分解（方程3）和分块对角线分解（方程4）。
• 将 R-GCN 作为实体分类的编码器使用，对每个节点采用 softmax 并使 cross-entropy 损失（方程5）。
• 构建一个用于链接预测的图自编码器，其中编码器是 R-GCN，解码器是 DistMult 因子分解（方程6），通过负采样进行训练（方程7）。
• 评估 R-GCN 仅作为实体分类的编码器，以及作为带 DistMult 解码器的链接预测编码器；探索集成 R-GCN+。

实验结果

研究问题

• RQ1 Relational Graph Convolutional Networks 能否有效建模多关系知识图以进行实体分类和链接预测？
• RQ2 将 R-GCN 编码器融入是否能提升标准链接预测因子分解模型（如 DistMult）在具有挑战性数据集上的性能？
• RQ3 正则化策略（基分解和块分解）如何帮助将 R-GCNs 扩展到大量关系类型而不发生过拟合？
• RQ4 将 R-GCN 编码器与传统解码器结合是否比仅解码器基线取得更大提升，尤其是在具有反向关系或高 degree 节点的数据集上？
• RQ5 在移除反向关系对（例如 FB15k-237）的数据集上使用 R-GCN 编码器的影响？

主要发现

• R-GCN 在实体分类方面表现出色，在 AIFB 和 AM 数据集上达到最先进水平。
• 对于链接预测，使用 DistMult 解码器的 R-GCN 编码器优于仅解码器的 DistMult，并在 FB15k 和 WN18 上与其他基线相竞争。
• 在 FB15k-237 上，R-GCN 编码器相较解码器基线显著提高了 29.8%，突出对图邻域推理的价值。
• 一个集成（R-GCN+）将 R-GCN 与 DistMult 结合通常会带来提升，尤其是在本地上下文信息丰富的数据集上。
• R-GCN 对高阶节点表现更好，提示与纯因子分解模型的互补优势，并激发未来基于注意力的扩展的潜力。
• 研究还指出将更具表达力的解码器（例如 ComplEx）与 R-GCN 编码器结合的潜力，作为一个有希望的方向。