[论文解读] Leave Graphs Alone: Addressing Over-Squashing without Rewiring

Domenico Tortorella, Alessio Micheli|arXiv (Cornell University)|Dec 13, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文提出图回声状态网络（GESNs），一种残差网络计算方法，在不改变图连通性的前提下，于六个异质性节点分类任务中实现了最先进性能。通过显式控制消息传递函数的Lipschitz常数（利用残差半径和输入缩放），GESNs避免了信息过压缩问题，其性能相比图重布线方法最高提升16%准确率，表明更新函数的压缩性是实现深层图神经网络高性能的关键因素。

ABSTRACT

Recent works have investigated the role of graph bottlenecks in preventing long-range information propagation in message-passing graph neural networks, causing the so-called `over-squashing' phenomenon. As a remedy, graph rewiring mechanisms have been proposed as preprocessing steps. Graph Echo State Networks (GESNs) are a reservoir computing model for graphs, where node embeddings are recursively computed by an untrained message-passing function. In this paper, we show that GESNs can achieve a significantly better accuracy on six heterophilic node classification tasks without altering the graph connectivity, thus suggesting a different route for addressing the over-squashing problem.

研究动机与目标

• 为解决深层图神经网络中的过压缩问题，即由于敏感度指数衰减导致长距离信息无法有效传播。
• 探究修改消息传递函数的Lipschitz常数是否能比图重布线更有效地缓解过压缩问题。
• 评估未经训练的无监督残差计算模型是否能在无需预处理重布线的情况下，超越有监督训练的模型。
• 证明节点表征质量的关键在于消息传递函数的压缩性，而非网络深度或图结构。

提出的方法

• GESNs采用递归的、未经训练的消息传递机制，其定义为 h_v^(k) = tanh(W_in * x_v + sum_{v' in N(v)} W_hat * h_v'^(k-1))，初始值 h_v^(0) = 0。
• 残差半径 ρ 控制递归权重矩阵 W_hat 的Lipschitz常数，从而实现对压缩性的显式调节。
• W_in 的输入缩放作为超参数处理，不通过反向传播学习，以避免梯度驱动的自适应。
• 节点嵌入通过迭代计算直至收敛，最终状态作为表征使用，无需训练消息传递函数。
• 使用岭回归读出头在最终残差状态上进行训练，以完成节点分类任务。
• 该方法完全不依赖图重布线，保留原始连通性，实现秒级快速推理。

实验结果

研究问题

• RQ1 通过控制消息传递函数的Lipschitz常数，是否能比图重布线更有效地缓解过压缩问题？
• RQ2 未经训练的无监督残差计算模型是否能在异质性节点分类任务中超越有监督GNN？
• RQ3 消息传递函数的压缩性如何影响深层GNN中节点表征质量与泛化能力？
• RQ4 残差半径与输入缩放对模型性能有何影响？能否在不使用反向传播的情况下有效调节？

主要发现

• GESNs在最佳重布线方法（SDRF与DIGL）基础上平均提升4–6%准确率，单个任务最高提升达16%，优于所有基线模型。
• 该模型在六个异质性节点分类基准上实现最先进性能，且无需任何图重布线或消息传递函数训练。
• 当残差半径 ρ > 1/α 时，性能显著提升，表明Lipschitz常数控制对避免过压缩至关重要。
• 节点嵌入在迭代过程中逐渐更具可分性，未出现坍塌或过度平滑现象，与标准GCN形成鲜明对比。
• 整个模型在GPU上训练与评估仅需数秒，而SDRF重布线需数分钟至数小时，凸显其计算高效性。
• 结果表明，消息传递函数的压缩性（由Lipschitz常数控制）是深层GNN性能的关键因素，甚至比图拓扑结构更为关键。