[论文解读] Going Deeper into Permutation-Sensitive Graph Neural Networks

Zhongyu Huang, Yingheng Wang+2 more|arXiv (Cornell University)|May 28, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出PG-GNN，一种新颖的图神经网络，采用基于置换群的采样策略，高效捕捉邻近节点间的成对相关性，其表达能力严格强于2-WL测试，且不低于3-WL测试，同时保持线性采样复杂度。该方法使深层、更富表达力的GNN成为可能，相较于完整置换枚举，计算成本显著降低。

ABSTRACT

The invariance to permutations of the adjacency matrix, i.e., graph isomorphism, is an overarching requirement for Graph Neural Networks (GNNs). Conventionally, this prerequisite can be satisfied by the invariant operations over node permutations when aggregating messages. However, such an invariant manner may ignore the relationships among neighboring nodes, thereby hindering the expressivity of GNNs. In this work, we devise an efficient permutation-sensitive aggregation mechanism via permutation groups, capturing pairwise correlations between neighboring nodes. We prove that our approach is strictly more powerful than the 2-dimensional Weisfeiler-Lehman (2-WL) graph isomorphism test and not less powerful than the 3-WL test. Moreover, we prove that our approach achieves the linear sampling complexity. Comprehensive experiments on multiple synthetic and real-world datasets demonstrate the superiority of our model.

研究动机与目标

• 解决现有置换不变GNN忽略邻近节点间结构关系的局限性。
• 设计一种计算高效的算法，捕捉邻居之间的成对相关性，而无需枚举所有置换。
• 在保持线性采样复杂度的同时，实现超越2-WL测试的表达能力。
• 通过克服完整置换建模带来的计算瓶颈，实现更深层的GNN架构。
• 通过成对相关性的不变性近似置换不变性，兼顾表达能力与泛化性能。

提出的方法

• 提出一种置换群（PG）采样策略，将置换采样复杂度从O(n log n)降低至O(n)。
• 利用PG从邻居中采样少量具有代表性的置换，覆盖全部n(n−1)/2种成对相关性。
• 在采样置换上使用置换敏感的聚合器（如LSTM），以建模邻近节点间的关系。
• 设计一种表达能力严格强于2-WL测试、且不弱于3-WL测试的聚合机制。
• 将基于PG的聚合机制集成到深层GNN框架中，包含批量归一化和残差连接。
• 将成对相关性的不变性作为置换不变性的代理，平衡表达能力与泛化性能。

实验结果

研究问题

• RQ1 GNN能否在保持线性计算复杂度的同时，实现超越2-WL测试的表达能力？
• RQ2 能否通过少量采样置换有效捕捉邻居之间的成对相关性？
• RQ3 所提出的置换群采样策略是否在不损失表达能力的前提下降低复杂度？
• RQ4 尽管模型对置换敏感，其学习到的GNN模型是否仍能良好泛化？
• RQ5 所提方法的表达能力与现有置换不变及置换敏感的GNN相比如何？

主要发现

• 所提出的PG-GNN表达能力严格强于2-WL测试，能够区分2-WL无法区分的图结构。
• 该方法表达能力不低于3-WL测试，表明其具备极强的表达能力。
• 置换采样复杂度从O(n log n)降低至O(n)，显著提升效率。
• 在合成数据集上，PG-GNN在区分4-团和5-团等复杂图结构方面优于2-WL受限模型。
• 在TUDataset、MNIST和ZINC等真实世界基准数据集上，PG-GNN以更少参数和更快推理速度，达到SOTA或具有竞争力的性能。
• 消融实验确认，结合PG采样的置换敏感聚合机制对捕捉局部子结构相关性至关重要。