[論文レビュー] Weisfeiler and Lehman Go Topological: Message Passing Simplicial Networks

Cristian Bodnar, Fabrizio Frasca+5 more|arXiv (Cornell University)|Mar 4, 2021

Advanced Graph Neural Networks参考文献 62被引用数 46

ひとこと要約

本論文は、単体複雑体上に構築された Message Passing Simplicial Networks (MPSNs) を提案し、SWL の力が MPSN に等しく WL を上回ることを証明し、線形領域を通じて表現力を分析し、難しいグラフクラスや方向性を考慮したタスクでより強い識別能力を実証します。

ABSTRACT

The pairwise interaction paradigm of graph machine learning has predominantly governed the modelling of relational systems. However, graphs alone cannot capture the multi-level interactions present in many complex systems and the expressive power of such schemes was proven to be limited. To overcome these limitations, we propose Message Passing Simplicial Networks (MPSNs), a class of models that perform message passing on simplicial complexes (SCs). To theoretically analyse the expressivity of our model we introduce a Simplicial Weisfeiler-Lehman (SWL) colouring procedure for distinguishing non-isomorphic SCs. We relate the power of SWL to the problem of distinguishing non-isomorphic graphs and show that SWL and MPSNs are strictly more powerful than the WL test and not less powerful than the 3-WL test. We deepen the analysis by comparing our model with traditional graph neural networks (GNNs) with ReLU activations in terms of the number of linear regions of the functions they can represent. We empirically support our theoretical claims by showing that MPSNs can distinguish challenging strongly regular graphs for which GNNs fail and, when equipped with orientation equivariant layers, they can improve classification accuracy in oriented SCs compared to a GNN baseline.

研究の動機と目的

• グラフを超える高次の関係モデリングを動機づけ、マルチレベルの相互作用を捉える。
• 非同型な単体複雑体を識別するための Simplicial Weisfeiler-Lehman (SWL) を定義する。
• Message Passing Simplicial Networks (MPSNs) を提案し、それらが SWL の表現力を達成することを証明する。
• MPSNs の表現力と機能的複雑さを GNN および SCNN に比べて比較する。
• 難易度の高いグラフファミリーや方向性認識型 SC タスクでの経験的優位性を示す。

提案手法

• 有向単体複雑体とそのオイラー構造/境界構造を定義する。
• 境界、共境界、下部、上部といった隣接関係を用いた SWL 着色と更新規則を開発する。
• SWL と MPSNs の同値性を証明し、WL より優れており、3-WL より劣らないことを示す。
• 4 種のメッセージタイプ、単射な近傍集約、および単体識別のリードアウトを備えた MPSN 層を記述する。
• MPSNs をスペクトル単体畳み込みと関連付け、単体のリラベリングと方向付けに対する等変性を議論する。
• MPSN のメッセージングと clique 複雑体へのリフティングの複雑性分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 クリーク複雑体へのリフティングを介して、SWL は WL よりグラフ上で非同型な単体複雑体をより強力に識別できるか。
• RQ2 高次設定において、MPSNs は SWL の表現力に匹敵し、従来の GNN および SCNN を上回ることができるか。
• RQ3 MPSN の線形領域の数は GNNs および SCNNs と比べてどうで、表現力容量に何を意味するか。
• RQ4 方向性等変な MPSN 層は、有向単体複雑体およびエッジフロー任务で性能向上を提供するか。
• RQ5 MPSN における高次隣接関係の使用の計算的トレードオフは何か。

主な発見

• SWL は WL より厳密に強力であり、グラフを clique 複雑体にリフティングしたとき 3-WL 以上の力を持つ。
• MPSNs は非同型な単体複雑体を識別する際に SWL と同等の力を持つ。
• MPSNs は ReLU 活性化下で GNNs および SCNNs より高い潜在的機能的複雑性（線形領域）を持つ。
• 実証的結果は、GNN が分離できない難易度の高い強く規則的なグラフ対を MPSNs が区別できることを示す。
• 方向性等変な MPSN 層は、基準法と比較して向きづけSCタスクおよびエッジフロー分類で性能を改善する。
• Clique-複雑体へのリフティングにより、WL を上回るグラフ同型性タスクを MPSNs が達成し、挑戦的な SR グラフも含む。