[论文解读] Higher-order Graph Convolutional Networks

John Boaz Lee, Ryan A. Rossi+4 more|arXiv (Cornell University)|Sep 12, 2018

Advanced Graph Neural Networks参考文献 34被引用 26

一句话总结

本文提出了一种高阶图神经网络——基元卷积网络（MCN），通过使用加权多跳基元邻接矩阵来捕捉超越一阶连接的复杂节点邻域。通过引入一种可学习的注意力机制，使每个节点能够动态选择最相关的基于基元的邻域，MCN在半监督节点分类任务上实现了最先进性能，尤其在低同质性图上表现突出。

ABSTRACT

Following the success of deep convolutional networks in various vision and speech related tasks, researchers have started investigating generalizations of the well-known technique for graph-structured data. A recently-proposed method called Graph Convolutional Networks has been able to achieve state-of-the-art results in the task of node classification. However, since the proposed method relies on localized first-order approximations of spectral graph convolutions, it is unable to capture higher-order interactions between nodes in the graph. In this work, we propose a motif-based graph attention model, called Motif Convolutional Networks (MCNs), which generalizes past approaches by using weighted multi-hop motif adjacency matrices to capture higher-order neighborhoods. A novel attention mechanism is used to allow each individual node to select the most relevant neighborhood to apply its filter. Experiments show that our proposed method is able to achieve state-of-the-art results on the semi-supervised node classification task.

研究动机与目标

• 解决图卷积网络（GCNs）因依赖一阶邻域近似而难以捕捉高阶节点交互的局限性。
• 探究将多种网络基元（如4-路径、三角形、4-团）引入是否能提升具有复杂或稀疏局部结构图的表征学习能力。
• 开发一种动态邻域选择机制，使节点能够根据其局部上下文自适应地选择最具有信息量的基于基元的邻域。
• 在表现出低同质性的基准图上评估所提方法的有效性，此类图中传统GCN和GAT模型表现欠佳。
• 通过可视化不同节点在不同图区域中对不同基元的优先级选择，展示注意力机制的可解释性。

提出的方法

• 利用预定义的网络基元（如边、2-星、三角形、4-路径、3-星、4-环、4-团）构建加权多跳基元邻接矩阵，以定义高阶邻域。
• 在消息传递过程中，应用一种新颖的注意力机制，为每个节点学习分配不同基元诱导的邻接矩阵的重要性权重。
• 使用强化学习训练注意力机制，其中动作（基元选择）根据分类准确率的提升获得奖励。
• 通过注意力加权组合的基元邻接矩阵，整合多样化的邻域结构特征，实现基元特异性卷积。
• 采用两层GCN风格架构，使用ReLU激活函数和Softmax输出，通过早停法及学习率、L2正则化和Dropout的超参数调优。
• 对于无节点属性的图，通过Weisfeiler-Lehman算法初始化节点特征，确保结构上下文被编码到输入表征中。

实验结果

研究问题

• RQ1 由网络基元定义的高阶图结构是否能超越一阶GCN方法，提升节点分类性能？
• RQ2 一种可学习的注意力机制，能在多个基于基元的邻域中进行选择，是否能带来更好的泛化能力，尤其在低同质性图中？
• RQ3 图中不同节点如何优先选择不同的基元？这种选择是否与结构角色（如边缘区域与密集区域）相关？
• RQ4 所提方法是否能在标签不平衡且连接稀疏的挑战性基准上超越强基线模型GCN和GAT？
• RQ5 注意力机制是否具备可解释性？所选基元是否与对节点邻域相关性的直观预期一致？

主要发现

• MCN在DD-6上取得12.4% ± 0.5的Micro-F1分数，在DD-7上取得13.1% ± 0.9，优于GCN（11.9% ± 0.6 和 12.4% ± 0.8）与GAT（11.8% ± 0.5 和 11.8% ± 1.1），证明其在低同质性图上的优越性。
• DD-6上表现最佳的MCN配置排除了4-路径-边基元，而DD-7仅使用边、三角形和4-团基元，且K=4，表明基元相关性具有任务特异性。
• Cora图的可视化显示，边缘区域节点更偏好4-路径基元以实现更广范围的邻域聚合，而密集区域节点则更倾向于选择三角形基元以增强局部连接性。
• 注意力机制实现了节点间异质的基元选择，无单一基元占主导地位，证实了模型对局部结构差异的适应能力。
• 该方法在同质性图之外也具备泛化能力，在引用网络（Cora、Citeseer、PubMed）和生物信息学图（DD-6、DD-7）上均表现出一致的性能提升。
• 使用Weisfeiler-Lehman初始化节点特征，使在缺乏原始节点属性的情况下仍能实现有效的表征学习，支持了模型在无属性图上的鲁棒性。