[论文解读] Equivariant Subgraph Aggregation Networks

Beatrice Bevilacqua, Fabrizio Frasca+6 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Graph Neural Networks参考文献 75被引用 13

一句话总结

本文提出等变子图聚合网络（ESAN），一种新颖的图神经网络框架，通过将图表示为子图的多重集（multiset）并利用等变架构处理，增强了模型的表达能力。ESAN 在仅使用 1-WL 基础编码器的情况下，可证明地超越 MPNN 的表达能力，能够区分 3-WL 测试无法区分的图，同时通过子图采样和高效预处理保持了有利的计算复杂度。

ABSTRACT

Message-passing neural networks (MPNNs) are the leading architecture for deep learning on graph-structured data, in large part due to their simplicity and scalability. Unfortunately, it was shown that these architectures are limited in their expressive power. This paper proposes a novel framework called Equivariant Subgraph Aggregation Networks (ESAN) to address this issue. Our main observation is that while two graphs may not be distinguishable by an MPNN, they often contain distinguishable subgraphs. Thus, we propose to represent each graph as a set of subgraphs derived by some predefined policy, and to process it using a suitable equivariant architecture. We develop novel variants of the 1-dimensional Weisfeiler-Leman (1-WL) test for graph isomorphism, and prove lower bounds on the expressiveness of ESAN in terms of these new WL variants. We further prove that our approach increases the expressive power of both MPNNs and more expressive architectures. Moreover, we provide theoretical results that describe how design choices such as the subgraph selection policy and equivariant neural architecture affect our architecture's expressive power. To deal with the increased computational cost, we propose a subgraph sampling scheme, which can be viewed as a stochastic version of our framework. A comprehensive set of experiments on real and synthetic datasets demonstrates that our framework improves the expressive power and overall performance of popular GNN architectures.

研究动机与目标

• 为解决消息传递神经网络（MPNN）表达能力有限的问题，其表达能力最多仅与 Weisfeiler-Leman（WL）测试相当。
• 开发一种可证明更具表达能力的 GNN 框架，以克服 MPNN 及更高阶 WL 基架构的局限性。
• 设计一种灵活且可扩展的架构，利用子图级别的表征，同时保持对图和集合对称性的等变性。
• 通过子图采样和高效预处理降低计算成本，实现在大规模图上的实际部署。

提出的方法

• 使用预定义的选择策略（如节点删除、边删除和自网络子图）将每个输入图表示为子图的多重集（bag）。
• 构建一个等变神经网络，尊重集合与图的对称群的直积，确保对子图排列和每个子图内部自同构的等变性。
• 使用 Siamese 风格的 GNN 独立编码每个子图，随后通过集合级别的操作模块聚合子图表征。
• 应用集合学习模块，从聚合的子图特征中生成对称的图级别表征，用于下游任务。
• 引入随机子图采样方案以降低计算成本，实现在大规模图上的可扩展训练。
• 利用高效的预处理进行子图生成，其中边删除策略的复杂度为 O(nm)，自网络策略的复杂度为 O(n(n+m))。

实验结果

研究问题

• RQ1 通过编码子图级别结构而非节点级别特征，GNN 框架能否实现超越 MPNN 的更强表达能力？
• RQ2 子图选择策略的选择如何影响整体架构的表达能力和计算效率？
• RQ3 基于 1-WL 编码器的框架能否实现 3-WL 测试的表达能力？若能，其条件是什么？
• RQ4 子图多重集的对称群与网络中等变层设计之间的理论关系是什么？
• RQ5 如何通过子图采样在降低计算成本的同时保持大规模图学习中的高性能？

主要发现

• ESAN 仅使用 1-WL 基础编码器即可区分 3-WL 测试无法区分的图，证明了其在表达能力上的显著理论提升。
• 该框架显著增强了标准 MPNN 及更强大架构（如 PPGN）的表达能力，展现出更广泛的应用潜力。
• ESAN 的时间复杂度在节点删除和边删除策略下为 O(n)，优于 3-IGN 和 3-GNN，在稀疏子图采样下与 GSN 相当。
• 空间复杂度在边删除策略下为 O(n²Δ_max)，通过使用 DS-GNN 在线计算子图嵌入可降低至 O(n + nΔ_max)。
• 预处理复杂度在边删除策略下为 O(nm)，在自网络策略下为 O(n(n+m))，远低于先前方法中 k-元子结构挖掘的 O(n^k)。
• 在真实和合成数据集上的实证结果表明，ESAN 在多个基准测试中均提升了性能，验证了其理论优势。