[論文レビュー] Breaking the Limits of Message Passing Graph Neural Networks

Muhammet Balcılar, Pierre Héroux+4 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning and ELM被引用数 28

ひとこと要約

本論文は非線形固有値ベースのフィルターと受容野マスキングを備えたスペクトル領域グラフ畳込みを設計し、1-WLの表現力を超えつつ線形計算複雑性を維持し、実践的には3-WL等価の力を達成（GNNML3）し、スペクトル的柔軟性を可能にする。

ABSTRACT

Since the Message Passing (Graph) Neural Networks (MPNNs) have a linear complexity with respect to the number of nodes when applied to sparse graphs, they have been widely implemented and still raise a lot of interest even though their theoretical expressive power is limited to the first order Weisfeiler-Lehman test (1-WL). In this paper, we show that if the graph convolution supports are designed in spectral-domain by a non-linear custom function of eigenvalues and masked with an arbitrary large receptive field, the MPNN is theoretically more powerful than the 1-WL test and experimentally as powerful as a 3-WL existing models, while remaining spatially localized. Moreover, by designing custom filter functions, outputs can have various frequency components that allow the convolution process to learn different relationships between a given input graph signal and its associated properties. So far, the best 3-WL equivalent graph neural networks have a computational complexity in $\mathcal{O}(n^3)$ with memory usage in $\mathcal{O}(n^2)$, consider non-local update mechanism and do not provide the spectral richness of output profile. The proposed method overcomes all these aforementioned problems and reaches state-of-the-art results in many downstream tasks.

研究の動機と目的

• 標準のMPNNが1-WL表現力に制限されていることを動機づけ、定量化する。
• 非線性固有値関数を用いたスペクトル領域のグラフ畳込み設計を提案し、表現力を高める。
• 空間的局所性と線形計算・メモリ複雑性を維持する（前処理を除く）。
• 1-WLおよびそれを超える表現力をそれぞれ達成するGNNML1とGNNML3を導入。
• グラフ同型性に類似したタスク、部分構造カウント、スペクトルフィルタリング挙動で経験的改善を示す。

提案手法

• 学習可能な周波数応答を用いてスペクトルサポートを設計するために、グラフ畳み込みを C^(s) = U diag(Phi_s(lambda)) U^T と表現する。
• ノード、隣接ノードの集約、および特徴ごとの乗算を組み合わせた層更新により1-WLの力を維持するGNNML1を提案。
• スペクトル領域サポートをラプラシアン/隣接の冪級数として表現し、マスキングと学習非線形周波数応答を介してトレースおよび要素ごとの乗算効果を可能にする。
• 前処理の固有分解を用いてスペクトルサポートを構築し、次に複数の層を通して、edge-feature representationsとnode featuresに作用するMLP (mlp_k) を学習して伝播する。
• 提案モデルを実現する前処理アルゴリズム(Algorithm 1)と順伝播計算アルゴリズム(Algorithm 2)を提供。
• グラフ同型性に類似したデータセットとグラフレット計数タスクで、1-WLベースライン（GCN、GAT、GraphSage、GIN、Chebnet）および3-WLベースライン（PPGN）と比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル領域GNNが非線形固有値関数を用いて1-WL表現力を超えつつ線形時間計算を維持できるか？
• RQ2 GNNML3の設計は実質的な3-WL等価性を達成し、1-WLを超える部分構造カウントを可能にするか？
• RQ3 提案モデルはグラフ信号の異なるスペクトル成分（低/高/帯域通過）を学習・利用できるか？
• RQ4 高次のグラフの識別や下流のグラフ分類/回帰タスクでの性能はどうか？
• RQ5 強く規則的なグラフや3-WL等価性のケースの識別における限界は何か？

主な発見

モデル	graph8c	sr25	EXP	EXP-classify
MLP	293K	105	600	50%
GCN	4775	105	600	50%
GAT	1828	105	600	50%
GIN	386	105	600	50%
Chebnet	44	105	71	82%
PPGN	0	105	0	100%
GNNML1	333	105	600	50%
GNNML3	0	105	0	100%

• 1-WL等価なGNN（例: GCN, GAT, GraphSage, GIN）は依然として制限的であり、Chebnetは特定の固有値条件下で1-WLパワフルになり得る。
• GNNML1は1-WLレベルの表現力を達成し、1-WLの能力と一致する。
• GNNML3は実験的に1-WLの限界を超え、3-WLの力に一致し、三角形、4環、尾付き三角形、3-スターのグラフレットをカウント可能とする。
• スペクトル設計と周波数認識フィルターは前処理を除き線形複雑性の枠内でトレースと要素ごとの乗算のような効果を実現できる。
• 実験はGNNML3とPPGNが1-WL等価だが3-WLの識別が可能なグラフ対を区別し、グラフレットカウントに長けていることを示す；EXPデータセットではChebnetが最大固有値の違いを識別する。
• スペクトル表現力分析は1-WL等価モデルが主に低パスフィルタリングを学習することを示唆し、GNNML1は高パス効果を学習可能；GNNML3はより高いスペクトル柔軟性（帯域通過）を達成する。
• このアプローチは性能の最先端を実現しつつ、局所性と線形スケーラビリティを維持する。