[论文解读] Multi-dimensional Graph Convolutional Networks

Yao Ma, Suhang Wang+3 more|arXiv (Cornell University)|Aug 18, 2018

Advanced Graph Neural Networks参考文献 31被引用 12

一句话总结

本文提出 mGCN，一种多维图卷积网络，通过学习特定于维度的节点表征和通用节点表征，捕捉多关系图中维度内和维度间的交互。该模型通过加权组合整合这些表征，在 YouTube 和 Amazon 等真实世界多维网络的节点分类任务中实现了最先进性能。

ABSTRACT

Convolutional neural networks (CNNs) leverage the great power in representation learning on regular grid data such as image and video. Recently, increasing attention has been paid on generalizing CNNs to graph or network data which is highly irregular. Some focus on graph-level representation learning while others aim to learn node-level representations. These methods have been shown to boost the performance of many graph-level tasks such as graph classification and node-level tasks such as node classification. Most of these methods have been designed for single-dimensional graphs where a pair of nodes can only be connected by one type of relation. However, many real-world graphs have multiple types of relations and they can be naturally modeled as multi-dimensional graphs with each type of relation as a dimension. Multi-dimensional graphs bring about richer interactions between dimensions, which poses tremendous challenges to the graph convolutional neural networks designed for single-dimensional graphs. In this paper, we study the problem of graph convolutional networks for multi-dimensional graphs and propose a multi-dimensional convolutional neural network model mGCN aiming to capture rich information in learning node-level representations for multi-dimensional graphs. Comprehensive experiments on real-world multi-dimensional graphs demonstrate the effectiveness of the proposed framework.

研究动机与目标

• 解决在具有多种关系类型的多维图中学习有效节点表征的挑战。
• 克服现有图卷积网络的局限性，这些网络专为仅含一种关系类型的单维图而设计。
• 开发一个统一框架，同时建模维度内（每种关系类型内部）和维度间（不同关系类型之间）的交互。
• 提升复杂真实世界多关系网络中节点分类等任务的节点级表征学习效果。

提出的方法

• 将每种关系类型视为独立维度，为每个维度构建独立的图结构。
• 使用图卷积层学习特定于维度的节点表征，通过聚合每个维度内邻近节点的特征实现。
• 通过聚合节点在不同维度中的对应表征，捕捉维度间交互。
• 使用可学习的加权平均（由超参数 α 控制）组合特定于维度的表征与跨维度表征。
• 使用全连接层将最终组合后的表征整合为通用节点嵌入，用于下游任务。
• 使用随机梯度下降和交叉熵损失进行端到端训练，以实现节点分类。

实验结果

研究问题

• RQ1 如何将图卷积网络扩展以建模具有多种关系类型的多维图？
• RQ2 维度内与维度间交互对节点表征质量的相对贡献是什么？
• RQ3 统一框架能否有效整合多种关系类型的信息，以提升节点分类性能？
• RQ4 模型性能对维度内与维度间聚合之间平衡的敏感度如何？

主要发现

• 所提出的 mGCN 模型在多维图的节点分类任务中实现了最先进性能，优于基线 GCN 和其他多关系嵌入方法。
• 当超参数 α 约为 0.5 时，F1-macro 和 F1-micro 分数达到峰值，表明维度内与维度间信息均至关重要且具有互补性。
• 当 α 设为 0 或 1 时，性能显著下降，证实忽略任一维度（内部或跨维度）交互会损害模型有效性。
• 该模型在 YouTube 和 Amazon 等真实世界多维网络中表现出鲁棒性与可扩展性，这些网络包含多种用户-项目和用户-用户交互类型。
• 消融实验确认，同时整合维度内与维度间消息传递可生成比单一组件更丰富的节点表征。
• 该框架能有效捕捉真实世界多关系网络的结构与关系复杂性，从而提升下游预测任务的性能。