[論文レビュー] Facilitating Graph Neural Networks with Random Walk on Simplicial Complexes

Cai Zhou, Xiyuan Wang+1 more|arXiv (Cornell University)|Oct 30, 2023

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、単体複体上のランダムウォークを活用することで、ノード、エッジ、高次元単体に対する新しい位置的・構造的符号化（PE/SE）を導入し、GNNの表現力と性能を向上させる画期的なフレームワークを提案する。ランダムウォークとホッジラプラシアン、スペクトル理論を結びつけることで、EdgeRWSEおよびHodge1Lapという手法を導入し、複数のベンチマークでSOTAまたは競争力のある結果を達成するとともに、計算コストの増加を最小限に抑えている。

ABSTRACT

Node-level random walk has been widely used to improve Graph Neural Networks. However, there is limited attention to random walk on edge and, more generally, on $k$-simplices. This paper systematically analyzes how random walk on different orders of simplicial complexes (SC) facilitates GNNs in their theoretical expressivity. First, on $0$-simplices or node level, we establish a connection between existing positional encoding (PE) and structure encoding (SE) methods through the bridge of random walk. Second, on $1$-simplices or edge level, we bridge edge-level random walk and Hodge $1$-Laplacians and design corresponding edge PE respectively. In the spatial domain, we directly make use of edge level random walk to construct EdgeRWSE. Based on the spectral analysis of Hodge $1$-Laplcians, we propose Hodge1Lap, a permutation equivariant and expressive edge-level positional encoding. Third, we generalize our theory to random walk on higher-order simplices and propose the general principle to design PE on simplices based on random walk and Hodge Laplacians. Inter-level random walk is also introduced to unify a wide range of simplicial networks. Extensive experiments verify the effectiveness of our random walk-based methods.

研究の動機と目的

• GNNにおけるノードレベルおよびエッジレベルのランダムウォークを、位置的・構造的符号化手法と結びつけること。
• 符号および基底に依存しないエッジレベルのPE/SEを設計し、GNNの表現力と一般化性能を向上させること。
• ランダムウォークベースの符号化を高次元単体および単体複体内の階層間遷移に一般化すること。
• ホッジ理論とランダムウォークを基盤とする統一的理論枠組みの下で、既存のGNNおよび単体ネットワーク手法を統合・拡張すること。
• 提案手法の有効性を、実世界のグラフおよび単体ベンチマーク上で実証的に検証すること。

提案手法

• エッジレベルのランダムウォークを直接用いる空間領域ベースのエッジレベルPE、EdgeRWSEを提案。局所的および大域的エッジ構造を捉える。
• ホッジ1-ラプラシアンから導出されるスペクトルベースのエッジレベルPE、Hodge1Lapを導入。固有ベクトル分解により、置換および符号不変性を保証。
• 0-単体（ノード）上のランダムウォークと、既存のPE/SE手法（例：RWSEやLapPE）との理論的関係を確立。
• ホッジラプラシアンと階層間ランダムウォークを用いて、単体ネットワーク学習を統一的に一般化。
• Hodge1Lapでは、射影ベースと絶対値ベースの固有ベクトル符号化を組み合わせ、不変性を保持するとともに表現力を向上。
• 軽量なMLPまたは特徴の連結/加算によるPE/SE統合により、任意のGNNベースモデルと互換性を確保し、計算コストを最小限に抑える。

Figure 1: A pair of non-isomorphic graphs that are distinguishable by $2$ -FWL but indistinguishable by $0$ -RWSE in Theorem C.1 . The shaded sectors denote bicliques $K_{1,6}$ , i.e. all six solid nodes in the shade are connected with the hollow node in the square trunk.

実験結果

リサーチクエスチョン

• RQ1 エッジおよび高次元単体上のランダムウォークは、GNNの理論的表現力の向上にどのように寄与するか？
• RQ2 構造符号化の観点から、エッジレベルのランダムウォークとホッジ1-ラプラシアンの関係は何か？
• RQ3 符号不変かつ基底不変なエッジレベルのPE/SE手法は、非有向グラフにおいても頑健に機能するように設計可能か？
• RQ4 ランダムウォークベースの符号化は、高次元単体および単体複合体内の階層間遷移にどのように一般化できるか？
• RQ5 ランダムウォークベースのPE/SE手法は、多様なベンチマークおよびデータタイプにおいて、どの程度GNNの性能を向上させるか？

主な発見

• EdgeRWSEおよびHodge1Lapは、Zincを含む複数のベンチマークでSOTAまたは非常に競争力のある性能を達成。GPSやSpecformerを上回る。
• Hodge1Lapは、射影と絶対値ベースの固有ベクトル符号化を組み合わせることで、符号および基底不変性を達成するとともに、高い表現力を維持。
• EdgeRWSEは、ノードレベルのRWSEよりも高次元構造パターンをより効果的に捉える。2-セル（リングやサイクル）を組み込むCellularRWSEはわずかに性能向上を示す。
• Hodge1LapおよびEdgeRWSEの事前処理時間は非常に短く（例：Zincでは約28–32秒）、軽量なMLP統合により前方伝搬のオーバーヘッドは無視できる。
• 提案手法は、エッジ特徴を備えた任意のGNNモデルに普遍的に適用可能であり、他のPE/SE手法と組み合わせても性能劣化を引き起こさない。
• フレームワークは有向・無向グラフ、単体複合体、セルラーコンプレックスへも拡張可能であり、離散的トポロジカルデータ構造全体に広範な適用性を示している。

Figure 2: A pair of non-isomorphic graphs that are indistinguishable by $1$ -FWL. Graph (a) is a six-cycle, while graph (b) consists of two 3-cycles. Both $0$ -RWSE and Hodge- $0$ isospectra are able to distinguish these two graphs.