[论文解读] Facilitating Graph Neural Networks with Random Walk on Simplicial Complexes

Cai Zhou, Xiyuan Wang+1 more|arXiv (Cornell University)|Oct 30, 2023

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出了一种新颖的框架，通过在单纯复形上进行随机游走，为节点、边和高阶单纯形引入新的位置编码（PE）和结构编码（SE），从而增强图神经网络（GNNs）的性能。该框架将随机游走与霍奇拉普拉斯算子及谱论相联系，提出EdgeRWSE和Hodge1Lap方法，在多个基准测试中显著提升了GNN的表达能力和性能，实现了SOTA或具有竞争力的结果，且计算开销极低。

ABSTRACT

Node-level random walk has been widely used to improve Graph Neural Networks. However, there is limited attention to random walk on edge and, more generally, on $k$-simplices. This paper systematically analyzes how random walk on different orders of simplicial complexes (SC) facilitates GNNs in their theoretical expressivity. First, on $0$-simplices or node level, we establish a connection between existing positional encoding (PE) and structure encoding (SE) methods through the bridge of random walk. Second, on $1$-simplices or edge level, we bridge edge-level random walk and Hodge $1$-Laplacians and design corresponding edge PE respectively. In the spatial domain, we directly make use of edge level random walk to construct EdgeRWSE. Based on the spectral analysis of Hodge $1$-Laplcians, we propose Hodge1Lap, a permutation equivariant and expressive edge-level positional encoding. Third, we generalize our theory to random walk on higher-order simplices and propose the general principle to design PE on simplices based on random walk and Hodge Laplacians. Inter-level random walk is also introduced to unify a wide range of simplicial networks. Extensive experiments verify the effectiveness of our random walk-based methods.

研究动机与目标

• 将节点级和边级随机游走与GNN中的位置编码和结构编码方法相连接。
• 开发对符号和基变换均不变的边级PE/SE，以增强GNN的表达能力和泛化性能。
• 将基于随机游走的编码方法推广至高阶单纯形以及单纯复形中的跨层级转换。
• 在霍奇理论与随机游走的理论框架下，统一并扩展现有的GNN与单纯复形网络方法。
• 在真实世界图结构与单纯复形基准上，实证验证所提方法的有效性。

提出的方法

• 提出EdgeRWSE，一种基于直接边级随机游走的空域边级PE，用于捕捉边的局部与全局结构。
• 提出Hodge1Lap，一种基于谱的边级PE，源自霍奇1-拉普拉斯算子，通过特征向量分解确保排列不变性与符号不变性。
• 建立在0-单纯形（节点）上随机游走与现有PE/SE方法（如RWSE和LapPE）之间的理论联系。
• 通过霍奇拉普拉斯算子与跨层级随机游走，将该框架推广至高阶单纯形，实现单纯复形网络学习的统一。
• 在Hodge1Lap中结合投影法与绝对值法的特征向量编码，以保持不变性并提升表达能力。
• 通过轻量级MLP或特征拼接/相加的方式集成PE/SE，实现与任意GNN主干模型的兼容性，并保持极低的计算成本。

Figure 1: A pair of non-isomorphic graphs that are distinguishable by $2$ -FWL but indistinguishable by $0$ -RWSE in Theorem C.1 . The shaded sectors denote bicliques $K_{1,6}$ , i.e. all six solid nodes in the shade are connected with the hollow node in the square trunk.

实验结果

研究问题

• RQ1 在边和高阶单纯形上进行随机游走，如何提升GNN的理论表达能力？
• RQ2 从结构编码的角度看，边级随机游走与霍奇1-拉普拉斯算子之间存在何种联系？
• RQ3 能否设计出既具备符号不变性又具备基变换不变性的边级PE/SE方法，以增强在无向图中的鲁棒性？
• RQ4 如何将基于随机游走的编码方法推广至高阶单纯形以及单纯复形中的跨层级转换？
• RQ5 基于随机游走的PE/SE方法在多样化基准和数据类型上，能在多大程度上提升GNN的性能？

主要发现

• EdgeRWSE与Hodge1Lap在多个基准测试中达到SOTA或高度竞争力的性能，包括Zinc数据集，优于GPS与Specformer。
• Hodge1Lap方法通过结合投影与绝对值法的特征向量编码，实现了符号与基变换不变性，同时保持了高表达能力。
• EdgeRWSE在捕捉高阶结构模式方面优于节点级RWSE，而引入2-胞腔（环与圈）的CellularRWSE进一步带来轻微性能提升。
• Hodge1Lap与EdgeRWSE的预处理时间极短（例如Zinc数据集约28–32秒），且由于轻量级MLP的集成，前向传播开销可忽略不计。
• 所提方法可广泛应用于任何具有边特征的GNN模型，并可与其他PE/SE方法结合使用而不会导致性能下降。
• 该框架可扩展至有向图与无向图、单纯复形与胞腔复形，展示了在离散拓扑数据结构中的广泛适用性。

Figure 2: A pair of non-isomorphic graphs that are indistinguishable by $1$ -FWL. Graph (a) is a six-cycle, while graph (b) consists of two 3-cycles. Both $0$ -RWSE and Hodge- $0$ isospectra are able to distinguish these two graphs.