[论文解读] Generalized Multi-Relational Graph Convolution Network.

Donghan Yu, Yiming Yang+2 more|arXiv (Cornell University)|Jun 12, 2020

Advanced Graph Neural Networks参考文献 22被引用 3

一句话总结

本文提出 GEM-GCN，一种广义的多关系图卷积网络，通过联合优化异质关系知识图谱中的节点和边嵌入，实现了知识图谱对齐和实体分类任务的最先进性能。通过统一 GCN 与知识库嵌入方法，该方法在基准数据集上取得了最先进的性能表现。

ABSTRACT

Graph Convolutional Networks (GCNs) have received increasing attention in recent machine learning. How to effectively leverage the rich structural information in complex graphs, such as knowledge graphs with heterogeneous types of entities and relations, is a primary open challenge in the field. Most GCN methods are either restricted to graphs with a homogeneous type of edges (e.g., citation links only), or focusing on representation learning for nodes only instead of jointly optimizing the embeddings of both nodes and edges for target-driven objectives. This paper addresses these limitations by proposing a novel framework, namely the GEneralized Multi-relational Graph Convolutional Networks (GEM-GCN), which combines the power of GCNs in graph-based belief propagation and the strengths of advanced knowledge-base embedding methods, and goes beyond. Our theoretical analysis shows that GEM-GCN offers an elegant unification of several well-known GCN methods as specific cases, with a new perspective of graph convolution. Experimental results on benchmark datasets show the advantageous performance of GEM-GCN over strong baseline methods in the tasks of knowledge graph alignment and entity classification.

研究动机与目标

• 解决现有 GCN 方法仅限于同质图或仅关注节点表示学习的局限性。
• 在复杂、多关系图（如知识图谱）中实现节点和边嵌入的联合优化。
• 在统一的理论框架下整合知名的 GCN 方法与知识库嵌入技术。
• 提升在目标驱动任务（如知识图谱对齐和实体分类）中的性能，特别是在异质图设置下。

提出的方法

• 提出一种广义的图卷积操作，通过统一的消息传递框架显式建模多种关系类型。
• 将先进的知识库嵌入技术（例如，TransE 风格的评分机制）整合到 GCN 消息传递机制中，以保留关系结构。
• 采用可微的端到端训练目标，联合优化下游任务的节点和边表示。
• 推导出理论统一性，表明若干经典 GCN 方法是所提出的 GEM-GCN 框架的特例。
• 使用关系特定的权重矩阵和注意力机制，自适应聚合来自不同关系类型的消息。
• 利用参数化的聚合函数在多关系图上执行信念传播，尊重关系异质性。

实验结果

研究问题

• RQ1 统一的 GCN 框架能否有效建模具有异质实体和关系的多关系图？
• RQ2 与仅学习节点表示的方法相比，联合优化节点和边嵌入在知识图谱任务中如何提升性能？
• RQ3 GEM-GCN 在多大程度上泛化了现有的 GCN 和知识库嵌入方法？
• RQ4 所提出的框架是否在知识图谱对齐和实体分类基准上实现了优越性能？

主要发现

• GEM-GCN 在知识图谱对齐任务中实现了最先进性能，在标准基准数据集上超越了强基线模型。
• 该模型在低资源和多关系设置下显著提升了实体分类准确率。
• 理论分析证实，GEM-GCN 包含了若干知名 GCN 变体作为特例，验证了其通用性。
• 实证结果表明，联合学习节点和边嵌入可生成比仅学习节点表示更鲁棒、更具表现力的表征。