[论文解读] Expander Graph Propagation

Andreea Deac, Marc Lackenby+1 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了一种新型图神经网络方法——膨胀图传播（Expander Graph Propagation, EGP），利用可高效构建的膨胀图（具体为SL(2,ℤₙ)的Cayley图）实现全局、无瓶颈的消息传递，时间与空间复杂度均为线性。尽管使用了负曲率边，EGP仍避免了信息压缩（oversquashing）现象，并在OGB基准上实现了最先进性能提升，且无需修改网络架构或输入预处理。

ABSTRACT

Deploying graph neural networks (GNNs) on whole-graph classification or regression tasks is known to be challenging: it often requires computing node features that are mindful of both local interactions in their neighbourhood and the global context of the graph structure. GNN architectures that navigate this space need to avoid pathological behaviours, such as bottlenecks and oversquashing, while ideally having linear time and space complexity requirements. In this work, we propose an elegant approach based on propagating information over expander graphs. We leverage an efficient method for constructing expander graphs of a given size, and use this insight to propose the EGP model. We show that EGP is able to address all of the above concerns, while requiring minimal effort to set up, and provide evidence of its empirical utility on relevant graph classification datasets and baselines in the Open Graph Benchmark. Importantly, using expander graphs as a template for message passing necessarily gives rise to negative curvature. While this appears to be counterintuitive in light of recent related work on oversquashing, we theoretically demonstrate that negatively curved edges are likely to be required to obtain scalable message passing without bottlenecks. To the best of our knowledge, this is a previously unstudied result in the context of graph representation learning, and we believe our analysis paves the way to a novel class of scalable methods to counter oversquashing in GNNs.

研究动机与目标

• 解决图神经网络（GNN）在全图分类任务中全局信息传播的挑战。
• 在保持线性时间与空间复杂度的前提下，克服深度GNN中病态行为（如信息压缩与瓶颈）的影响。
• 开发一种无需特定输入预处理且可轻松集成至现有GNN架构的方法。
• 从理论与实证两方面探究负曲率在消息传递中的作用及其与信息压缩的关系。
• 证明：在膨胀图中，负曲率边并不会引发信息压缩，与先前假设相反，且可能对可扩展通信至关重要。

提出的方法

• 利用特殊线性群SL(2,ℤₙ)的Cayley图构建稀疏、4-正则的膨胀图，其具有对数直径且可高效预计算。
• 将预计算的膨胀图作为固定的消息传递模板，GNN层在其上传播节点特征，以实现全局上下文聚合。
• 在标准GNN架构（如GIN）中无缝插入EGP层，不改变模型参数量或潜在维度。
• 利用特殊线性群的理论结果，确保所构建的膨胀图具有稀疏性、高度连通性及低直径特性。
• 通过曲率分析表明：尽管膨胀图中的边具有负曲率，但其曲率大小受控，不会触发先前研究中识别出的信息压缩条件。
• 使用开放图基准（OGB）在多种数据集上评估EGP，包括分子性质预测、蛋白质相互作用网络及代码摘要任务。

实验结果

研究问题

• RQ1 能否将膨胀图用作可扩展的、固定的通信模板，以在GNN中实现全局信息流动，同时避免二次方复杂度？
• RQ2 为何膨胀图中的负曲率边并未导致信息压缩，尽管先前研究将负曲率与该问题相关联？
• RQ3 EGP是否可在不修改标准GNN架构的前提下实现性能提升，同时保持在图分类任务上的优越表现？
• RQ4 从理论上讲，使用膨胀图作为通信骨干是否能有效避免瓶颈并维持线性复杂度？
• RQ5 EGP在真实世界基准上的实证性能是否优于标准GNN及其他信息压缩缓解方法？

主要发现

• EGP在所有四个OGB数据集上均取得显著性能提升——ogbg-molhiv（+3.76%）、ogbg-molpcba（+2.78%）、ogbg-ppa（+1.96%）和ogbg-code2（+0.13%），且未改变模型参数或潜在维度。
• EGP层在多种图类型（包括小分子、大型语法树及蛋白质-蛋白质相互作用网络）上均持续优于基线GIN模型。
• 理论分析表明：尽管所构建膨胀图中的边具有负曲率，但其曲率大小不足以触发先前研究中定义的信息压缩条件。
• SL(2,ℤₙ)的Cayley图具有稀疏性（|E| = O(|V|)）、4-正则性及对数直径，可在O(log |V|)跳内实现高效全局通信。
• EGP无需特定输入预处理，可通过简单层插入方式无缝集成至现有GNN架构中。
• 实证结果表明，EGP通过膨胀图拓扑有效缓解了瓶颈与信息压缩问题，即使在深层GNN中也能实现可扩展的长距离信息流动。