[论文解读] Graph Transformer Networks

Seongjun Yun, Minbyul Jeong+3 more|arXiv (Cornell University)|Nov 6, 2019

Advanced Graph Neural Networks被引用 514

一句话总结

GTNs 学习将异构图转换为多元元路径图，并进行端到端的节点分类，而无需手动定义元路径，在基准数据集上达到最先进的结果。

ABSTRACT

Graph neural networks (GNNs) have been widely used in representation learning on graphs and achieved state-of-the-art performance in tasks such as node classification and link prediction. However, most existing GNNs are designed to learn node representations on the fixed and homogeneous graphs. The limitations especially become problematic when learning representations on a misspecified graph or a heterogeneous graph that consists of various types of nodes and edges. In this paper, we propose Graph Transformer Networks (GTNs) that are capable of generating new graph structures, which involve identifying useful connections between unconnected nodes on the original graph, while learning effective node representation on the new graphs in an end-to-end fashion. Graph Transformer layer, a core layer of GTNs, learns a soft selection of edge types and composite relations for generating useful multi-hop connections so-called meta-paths. Our experiments show that GTNs learn new graph structures, based on data and tasks without domain knowledge, and yield powerful node representation via convolution on the new graphs. Without domain-specific graph preprocessing, GTNs achieved the best performance in all three benchmark node classification tasks against the state-of-the-art methods that require pre-defined meta-paths from domain knowledge.

研究动机与目标

• 在异构图上学习节点表征的动机，超越固定的同构图。
• 开发一个框架，自动为每个任务发现有用的元路径和多跳连接。
• 实现端到端训练，使图结构学习与节点表征学习集成。
• 通过识别哪些元路径（边类型）对预测有贡献，提供可解释性。

提出的方法

• 使用针对不同边类型的多个邻接矩阵来表示异构图。
• 使用1x1卷积结合softmax对候选边类型进行软权重化和选择。
• 通过相乘选定的邻接矩阵（Q1 Q2）来形成新的元路径图，并归一化为 A(l) = D^{-1} Q1 Q2。
• 在候选集合中包含单位矩阵，以允许学习可变的路径长度和原始边。
• 对每个学习得到的元路径图应用GCN，并将多通道表示拼接以得到最终预测。
• 在带标签的节点上使用标准交叉熵损失进行训练。

实验结果

研究问题

• RQ1 RQ1：GTN 生成的新图结构是否对学习节点表征有效？
• RQ2 RQ2：GTN 是否能够自适应地产生依数据集而变量长度的元路径？
• RQ3 RQ3：如何从 GTN 生成的邻接矩阵中解释每个元路径的重要性？
• RQ4 (Extra) GTN 是否在异构图节点分类任务中超越需要预定义元路径的方法？

主要发现

• GTN 在所有三个数据集上都达到最高性能，优于随机游走基线和其他GNN。
• GAT 通常优于 GCN，由于学习到的邻居权重，而在这些实验中 HAN 相对 GAT 表现不及。
• GTN 不包含单位矩阵的版本（GTN_-I）表现不如完整的 GTN，表明学习较短元路径的好处。
• GTN 学习的元路径与目标节点的领域定义的元路径对齐，并且还发现新颖、信息量大的元路径。
• 模型可以根据数据集调整元路径长度，当较短路径有利时，对单位矩阵给予更高注意（如在 IMDB 中观察到）。
• 消融实验显示 GTN 作为对多条学习得到的元路径图的 GCN 集成，在端到端学习中提升性能。