[论文解读] How does over-squashing affect the power of GNNs?

Francesco Di Giovanni, T. Konstantin Rusch+5 more|arXiv (Cornell University)|Jun 6, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文通过分析节点对之间的特征混合，提出了一种新颖的 Message Passing Neural Networks (MPNNs) 中过压缩现象的定量度量方法，并通过 commute times 将其与图的拓扑结构联系起来。研究证明，当节点之间的 commute times 较高时，必须使用不切实际的深层或宽层 MPNN 才能实现充分的特征交互，从而确立了 MPNN 在长距离任务中表达能力的根本限制。

ABSTRACT

Graph Neural Networks (GNNs) are the state-of-the-art model for machine learning on graph-structured data. The most popular class of GNNs operate by exchanging information between adjacent nodes, and are known as Message Passing Neural Networks (MPNNs). Given their widespread use, understanding the expressive power of MPNNs is a key question. However, existing results typically consider settings with uninformative node features. In this paper, we provide a rigorous analysis to determine which function classes of node features can be learned by an MPNN of a given capacity. We do so by measuring the level of pairwise interactions between nodes that MPNNs allow for. This measure provides a novel quantitative characterization of the so-called over-squashing effect, which is observed to occur when a large volume of messages is aggregated into fixed-size vectors. Using our measure, we prove that, to guarantee sufficient communication between pairs of nodes, the capacity of the MPNN must be large enough, depending on properties of the input graph structure, such as commute times. For many relevant scenarios, our analysis results in impossibility statements in practice, showing that over-squashing hinders the expressive power of MPNNs. We validate our theoretical findings through extensive controlled experiments and ablation studies.

研究动机与目标

• 理解过压缩如何限制 MPNN 在学习涉及长距离节点交互函数时的表达能力。
• 开发一种过压缩的定量度量方法，以捕捉 MPNN 中节点对之间特征混合的程度。
• 建立理论上的不可能性结果，即对于具有高混合特征且 commute times 较大的节点对，实际容量的 MPNN 无法学习相关函数。
• 将分析扩展到几何图和点云上的等变 MPNN，证明该理论不仅适用于标准图。
• 通过受控实验验证理论，测量不同 MPNN 架构下的训练误差和过压缩度量。

提出的方法

• 提出一种基于 MPNN 消息传递动态所诱导的交互强度的节点对之间特征混合度量方法。
• 利用 MPNN 的雅可比矩阵和谱性质，将特征混合与图中节点对之间的 commute time 联系起来。
• 推导出为实现高 commute time 节点对之间充分混合，所需 MPNN 深度和容量的下限。
• 引入归一化的过压缩度量 $\widetilde{\mathsf{OSQ}}$，以量化因过压缩导致的信息损失程度。
• 采用修改后拉普拉斯矩阵的 Moore-Penrose 逆，高效计算有效电阻和 commute time。
• 通过在合成 ZINC 数据集上的消融研究验证理论预测，测量 GCN、GIN、GraphSAGE 和 GatedGCN 模型的训练 MAE 和 $\widetilde{\mathsf{OSQ}}$。

实验结果

研究问题

• RQ1 过压缩如何限制 MPNN 学习需要远距离节点间强特征交互函数的能力？
• RQ2 我们能否基于图的底层拓扑结构（特别是节点对之间的 commute time）来量化过压缩现象？
• RQ3 对于具有高 commute time 的节点对，实现充分混合所需的最小 MPNN 深度或容量是多少？
• RQ4 所提出的过压缩度量在实践中是否与长距离任务上的模型性能相关？
• RQ5 该理论如何扩展到几何图和点云上的等变 MPNN？

主要发现

• 具有有界容量的 MPNN 无法学习需要高阶（一阶或二阶）特征混合的节点级函数，这些函数依赖于 commute time 较大的节点对的特征。
• 所需层数 $m$ 至少以 $\frac{\tau(v,u)}{4c_2}$ 的速率增长，其中 $\tau(v,u)$ 是节点 $v$ 和 $u$ 之间的 commute time，表明其与图拓扑存在直接依赖关系。
• 实验结果表明，训练 MAE 随 commute time 分位数升高而增加，随层数增加而降低，验证了理论上的权衡关系。
• 过压缩度量 $\widetilde{\mathsf{OSQ}}$ 随 commute time 分位数升高而增加，随 MPNN 深度增加而降低，验证了理论预测。
• 该分析适用于几何图，并可扩展至点云上的等变 MPNN，证明其在标准图之外也具有广泛适用性。
• 本研究揭示了根本性限制：对于具有高直径或瓶颈结构的许多现实世界图，实际规模的 MPNN 无法实现长距离任务所需的充分特征混合。