[論文レビュー] Fine-grained Expressivity of Graph Neural Networks

Jan Böker, Ron Levie+3 more|arXiv (Cornell University)|Jun 6, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿は、グラフンを用いて、メッセージパッシンググラフニューラルネットワーク（MPNNs）の表現力を連続的・位相的な枠組みで測定するためのフレームワークを導入する。1次元Weisfeiler–Leman（1-WL）テストを、微細なメトリックに基づく特徴化に拡張したものであり、MPNN出力の類似度、木距離、およびホモモルフィズム密度の間の同値性を確立し、MPNNのグラフを区別する能力がこれらの連続的メトリクスによって完全に記述されることを証明している。未学習のMPNNは、グラフ分類タスクにおいて競争力のある性能を示している。

ABSTRACT

Numerous recent works have analyzed the expressive power of message-passing graph neural networks (MPNNs), primarily utilizing combinatorial techniques such as the $1$-dimensional Weisfeiler-Leman test ($1$-WL) for the graph isomorphism problem. However, the graph isomorphism objective is inherently binary, not giving insights into the degree of similarity between two given graphs. This work resolves this issue by considering continuous extensions of both $1$-WL and MPNNs to graphons. Concretely, we show that the continuous variant of $1$-WL delivers an accurate topological characterization of the expressive power of MPNNs on graphons, revealing which graphs these networks can distinguish and the level of difficulty in separating them. We identify the finest topology where MPNNs separate points and prove a universal approximation theorem. Consequently, we provide a theoretical framework for graph and graphon similarity combining various topological variants of classical characterizations of the $1$-WL. In particular, we characterize the expressive power of MPNNs in terms of the tree distance, which is a graph distance based on the concept of fractional isomorphisms, and substructure counts via tree homomorphisms, showing that these concepts have the same expressive power as the $1$-WL and MPNNs on graphons. Empirically, we validate our theoretical findings by showing that randomly initialized MPNNs, without training, exhibit competitive performance compared to their trained counterparts. Moreover, we evaluate different MPNN architectures based on their ability to preserve graph distances, highlighting the significance of our continuous $1$-WL test in understanding MPNNs' expressivity.

研究の動機と目的

• MPNNの表現力を測る際の二値的グラフ同型性の限界を是正するため、グラフ類似度の連続的・メトリックベースの特徴化を導入すること。
• 1-WLテストの位相的変種を用いて、グラフン上でのMPNNの表現力を形式化すること。
• MPNN出力類似度、木距離、および部分構造カウントの間の同値性を、木ホモモルフィズムを介して確立すること。
• グラフンの文脈におけるMPNNの普遍近似定理を提示すること。
• 理論的に導出されたメトリクスを、未学習のMPNNが標準的なグラフベンチマークで競争力ある性能を示すことで、実証的に検証すること。

提案手法

• 反復度数測定とコンact作用素を用いて、1-WLテストをグラフンに拡張する。
• 2つの連続的メトリクス、δ_P（プロホロフ）およびδ_W（非平衡ウォッシャーク）を導入し、反復度数測定の位相をメトリクス化する。
• すべての有界リプシッツ定数および層数を持つMPNNが、出力を近接する場合に限り、2つのグラフンがδ_Pまたはδ_Wで近接していることを証明する。
• これらのメトリクスを木距離δ_T□および木ホモモルフィズム密度と結びつけ、表現力において同値であることを示す。
• 分数的同型性およびグラフン極限の理論を用いて、MPNNの普遍近似結果を導出する。
• 未学習のMPNNを標準的なグラフベンチマークで評価し、学習済みモデルと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 二値的同型性を超えて、MPNNの表現力を連続的・微細に特徴づける方法は何か？
• RQ2 MPNNがグラフンを分離する際の最も細かい位相は何か？ そしてこれは古典的1-WLおよびグラフン構造とどのように関係するか？
• RQ3 MPNN出力に基づくメトリクス、木距離、および木ホモモルフィズム密度は、グラフン上でのMPNN表現力を捉える上で同値か？
• RQ4 未学習のMPNNはグラフ分類で競争力ある性能を達成できるか？ これはMPNNの初期表現能力に何を示唆するか？
• RQ5 提案された連続的メトリクスδ_Pおよびδ_Wは、WL距離などの既存のグラフ距離と、実用的な分類タスクにおいてどのように比較されるか？

主な発見

• 提案されたメトリクスδ_Pおよびδ_Wは、有界リプシッツ定数および層数を持つすべてのMPNNに対して、木距離δ_T□およびMPNN出力類似度と同値である。
• 未学習のMPNNは、グラフレベルの予測タスクで競争力ある性能を示している（例：Mutagでは81.78% ± 3.29）。これは初期重みがすでに意味のある構造的情報を含んでいることを示唆している。
• MPNN埋め込み間のユークリッド距離は、δ_Pおよびδ_Wの効率的な下界として機能し、直接的な距離計算よりも著しく低い計算コストで実行できる。
• δ_Wを用いた1-NN分類器は、Mutagで87.89% ± 4.11の精度、Imdb-Binaryで66.50% ± 4.15の精度を達成し、WL距離（91.1% ± 4.3および69.4% ± 3.9）と同等の性能を示した。
• 層数を増やすと初期には未学習MPNNの性能が向上するが、やがて劣化するため、構造的表現に最適な深さが存在することが示された。
• 理論的枠組みにより、グラフン上でのMPNNの普遍近似定理が得られ、MPNNの表現力が連続的1-WLテストによって完全に特徴づけられることを示した。