[论文解读] Non-convolutional Graph Neural Networks

Yuanqing Wang, Kyunghyun Cho|arXiv (Cornell University)|Jul 31, 2024

Advanced Graph Neural Networks被引用 5

一句话总结

RUM 是一种无卷积的 GNN，使用随机游走和 RNN 来统一语义和拓扑图特征，在表达能力上优于 WL，并在保持可扩展性和在 GPU 上运行快速的同时，缓解过平滑和过挤压问题。

ABSTRACT

Rethink convolution-based graph neural networks (GNN) -- they characteristically suffer from limited expressiveness, over-smoothing, and over-squashing, and require specialized sparse kernels for efficient computation. Here, we design a simple graph learning module entirely free of convolution operators, coined random walk with unifying memory (RUM) neural network, where an RNN merges the topological and semantic graph features along the random walks terminating at each node. Relating the rich literature on RNN behavior and graph topology, we theoretically show and experimentally verify that RUM attenuates the aforementioned symptoms and is more expressive than the Weisfeiler-Lehman (WL) isomorphism test. On a variety of node- and graph-level classification and regression tasks, RUM not only achieves competitive performance, but is also robust, memory-efficient, scalable, and faster than the simplest convolutional GNNs.

研究动机与目标

• 动机：重新审视图神经网络，以解决卷积基 GNN 中表达能力受限、过平滑和过挤压的问题。
• 提出一个无卷协的模块，将拓扑游走信息与语义游走信息集成。
• 在理论与经验上证明 RUM 相对于传统 GNN 的更强表达能力和鲁棒性。
• 展示 RUM 在节点级和图级任务中的高效性、可扩展性以及具有竞争力或更卓越的表现。

提出的方法

• 构建以每个节点终止的随机游走，并通过一次匿名实验描述它们的拓扑环境。
• 通过使用 φx、φu 和 f 的统一记忆函数，将语义游走嵌入与拓扑游走索引合并。
• 通过蒙特卡洛加权对采样的 l 步游走中的节点表示进行聚合，以获得节点级任务的 ψ(v)。
• 可选地对节点表示进行池化，以形成用于图级任务的全局图表示 Ψ(𝒢)。
• 确保模型的置换等变性，并强调由于基于 RNN 的序列化导致相对于邻域大小的参数量保持常量。

Figure 1: RUM can (in closed form), whereas the Weisfeiler-Lehman (WL) isomorphism test and WL-equivalent GNNs cannot , distinguish these two graphs— an illustration of Example 8.1 .

实验结果

研究问题

• RQ1 RUM 是否能够区分 WL 基 GNN 无法区分的非同构图？
• RQ2 无卷积结构是否缓解传统 GNN 中的过平滑和过挤压？
• RQ3 在标准基准上，RUM 是否比卷积 GNN 更快且更鲁棒？
• RQ4 RUM 在大规模图和稠密图上的可扩展性如何？

主要发现

• RUM 可以通过足够长的随机游走区分非同构图，超出 WL 测试的能力。
• RUM 通过沿着游走保持 Dirichlet 能量并使用非收缩映射来缓解过平滑。
• RUM 减少过挤压并在梯度行为上相对于卷积 GNN 显示有利。
• 在基准测试中，RUM 在节点和图任务上表现具有竞争力或更优，并且在 GPU 上比简单的 GCN 更快。
• RUM 对图扰动具有鲁棒性，能有效扩展到大图，对非常稠密的图有一定局限。

Figure 2: RUM alleviates over-smoothing . Dirichlet energy ( $\mathcal{E}$ ) on Cora [ 45 ] graph plotted against $L$ , the number of steps or layers.