[论文解读] Automorphic Equivalence-aware Graph Neural Network

Fengli Xu, Quanming Yao+2 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出GRAPE，一种新型图神经网络，通过可学习的、关注自动同构等价性的聚合器与子图模板，显式建模节点邻域中的自动同构等价性。该工作引入了以自我为中心的自动同构等价性（Ego-AE），设计了一种遗传算法以自动搜索子图模板，并在理论上证明了GRAPE的表达能力，在真实图上相较SOTA图神经网络最高实现26.7%的准确率提升。

ABSTRACT

Distinguishing the automorphic equivalence of nodes in a graph plays an essential role in many scientific domains, e.g., computational biologist and social network analysis. However, existing graph neural networks (GNNs) fail to capture such an important property. To make GNN aware of automorphic equivalence, we first introduce a localized variant of this concept -- ego-centered automorphic equivalence (Ego-AE). Then, we design a novel variant of GNN, i.e., GRAPE, that uses learnable AE-aware aggregators to explicitly differentiate the Ego-AE of each node's neighbors with the aids of various subgraph templates. While the design of subgraph templates can be hard, we further propose a genetic algorithm to automatically search them from graph data. Moreover, we theoretically prove that GRAPE is expressive in terms of generating distinct representations for nodes with different Ego-AE features, which fills in a fundamental gap of existing GNN variants. Finally, we empirically validate our model on eight real-world graph data, including social network, e-commerce co-purchase network, and citation network, and show that it consistently outperforms existing GNNs. The source code is public available at https://github.com/tsinghua-fib-lab/GRAPE.

研究动机与目标

• 解决现有图神经网络在区分节点邻居之间自动同构等价性（AE）方面的根本局限性。
• 设计一种局部化的AE变体——以自我为中心的自动同构等价性（Ego-AE），以契合图神经网络的局部消息传递机制。
• 设计一种可证明表达能力的图神经网络架构（GRAPE），基于Ego-AE特征区分节点表示。
• 提出一种遗传算法，自动搜索最优子图模板，减少对手动设计的依赖。
• 在包括社交网络、引用网络和电商共购买图在内的多样化真实图数据集上，展示一致的性能提升。

提出的方法

• 通过子图模板映射节点邻域，利用图自同构将邻居划分为自动同构等价集，引入以自我为中心的自动同构等价性（Ego-AE）。
• 设计可学习的AE感知聚合器，为不同Ego-AE集合中的邻居分配不同权重，建模结构角色之间的依赖关系。
• 使用挤压-激励模块融合来自多个Ego-AE集合的表示，以捕捉复杂的结构模式。
• 提出一种遗传算法，自动搜索高性能子图模板，通过选择、交叉和变异迭代优化候选模板。
• 通过增量算法加速子图匹配，利用子图间的相似性降低计算成本。
• 理论分析证明了GRAPE在生成具有不同Ego-AE特征的节点表示方面具备表达能力，克服了标准MPNN的局限性。

实验结果

研究问题

• RQ1 图神经网络能否被设计为在区分节点邻居之间的自动同构等价性方面具备可证明的表达能力？
• RQ2 如何将自动同构等价性局部化，以适配图神经网络的归纳偏差，同时保留结构角色信息？
• RQ3 能否采用数据驱动方法自动发现有效的子图模板，而无需人工设计？
• RQ4 在包含多样化真实图数据集（如社交网络、引用网络、电商共购买图）中，引入Ego-AE感知能力是否能带来一致的性能提升？
• RQ5 遗传算法在优化图神经网络性能的子图模板方面，效率与有效性如何？

主要发现

• GRAPE在真实图数据集（包括社交网络、引用网络和电商共购买图）上相较现有图神经网络最高实现26.7%的准确率提升。
• 在Lehigh数据集上，使用自动搜索模板的GRAPE在3000秒后达到34.5%准确率，优于最佳基线方法（BO+ESU）的1.5%，并接近手工设计模板的性能。
• 结合增量子图匹配的遗传算法使匹配时间相比基线ESU减少高达96%：增量匹配耗时24.0–134.3秒，而ESU耗时648.7–2592.0秒。
• 案例研究显示，GRAPE成功捕捉了社交同质性，Ego-AE集合中45.3–46.0%的最高标签与中心节点标签匹配，表明其对结构角色的有效建模。
• 该模型在不同数据集上表现稳健：在Hamilton上达到33.8%准确率，在Lehigh上为27.9%，Rochester为25.6%，JHU为30.3%，Amherst为34.5%，均在3000秒优化后达成。
• 手工设计的子图模板在Lehigh数据集上实现22.6–26.1%的准确率，证实了模板设计的重要性，并验证了自动化搜索的必要性。