[论文解读] Motif-based Convolutional Neural Network on Graphs

Aravind Sankar, Xinyang Zhang+1 more|arXiv (Cornell University)|Nov 15, 2017

Advanced Graph Neural Networks参考文献 34被引用 29

一句话总结

该论文提出Motif-CNN，一种新颖的图卷积网络，通过使用高阶结构基序（motifs）来定义异质图中的空间局部性和平移不变性。通过学习多种基序模式的注意力加权组合，该方法捕捉了复杂的结构与特征关系，在真实世界异质数据集的半监督节点分类任务中，性能相比最先进方法提升6–21%。

ABSTRACT

This paper introduces a generalization of Convolutional Neural Networks (CNNs) to graphs with irregular linkage structures, especially heterogeneous graphs with typed nodes and schemas. We propose a novel spatial convolution operation to model the key properties of local connectivity and translation invariance, using high-order connection patterns or motifs. We develop a novel deep architecture Motif-CNN that employs an attention model to combine the features extracted from multiple patterns, thus effectively capturing high-order structural and feature information. Our experiments on semi-supervised node classification on real-world social networks and multiple representative heterogeneous graph datasets indicate significant gains of 6-21% over existing graph CNNs and other state-of-the-art techniques.

研究动机与目标

• 为解决现有图卷积神经网络在建模异质图中高阶、语义有意义的邻域结构方面的局限性。
• 定义一种尊重节点类型、模式约束和复杂图交互中语义角色的空间局部性。
• 设计一种参数共享机制，以区分感受野中上下文节点的语义角色，实现在多样化结构模式下的平移不变性。
• 将基于基序的感受野与深度学习统一，以在不规则、异质图结构中实现有效的特征提取。
• 在保持计算效率的同时，实现半监督节点分类任务中的优越性能。

提出的方法

• 引入基于基序的空间卷积，使用高阶子图模式（基序）作为感受野，替代传统的基于邻域的局部连接。
• 提出一种新型参数共享机制，仅当节点在基序模式中扮演相同语义角色时才共享相同参数。
• 采用注意力机制，动态融合从多个基序模式中提取的特征，实现对高阶结构信息的选择性融合。
• 通过基序枚举预先计算图中相关的结构模式，为每个节点的局部感受野提供基础。
• 采用多层架构，通过堆叠的基序卷积，使深层网络学习到越来越复杂的基序表示。
• 利用统一框架支持异质节点类型和类型化边，在特征学习过程中保持模式语义。

实验结果

研究问题

• RQ1 高阶结构基序是否能有效建模在标准邻域定义失效的不规则、异质图中的空间局部性？
• RQ2 如何设计一种参数共享机制，以在图的不同基序模式中保持语义角色的区分？
• RQ3 基于基序的卷积在异质图的半监督节点分类任务中，相较于标准图CNN，性能提升程度如何？
• RQ4 基于基序的特征学习是否能捕捉到比直接邻域或跳数方法更丰富的结构与特征信息？
• RQ5 通过注意力机制融合多个基序，如何提升模型的泛化能力和性能？

主要发现

• 在异质图数据集上，Motif-CNN 相比现有图CNN和最先进方法，在Macro-F1和Micro-F1上实现了6–21%的相对提升。
• 在DBLP数据集上，Motif-CNN 的Macro-F1比GCN高出14%，Micro-F1高出12%，在复杂异质图中表现强劲。
• 该模型收敛更快，验证损失更低，表明基于基序的特征学习改善了优化动态。
• Motif-CNN计算效率高，每轮训练时间仅次于GCN，尽管存在预计算开销，总运行时间仍接近GCN。
• 注意力机制有效优先选择信息量大的基序模式，增强了特征表示且未出现过拟合。
• 性能增益在异质图中最为显著，证实了在这些领域中高阶结构建模的重要性。