[論文レビュー] $p$-Laplacian Based Graph Neural Networks

Guoji Fu, Peilin Zhao+1 more|arXiv (Cornell University)|Nov 14, 2021

Advanced Graph Neural Networks参考文献 72被引用数 4

ひとこと要約

この論文は、離散正則化フレームワークから導出されたp-Laplacianに基づくメッセージスティンメカニズムを用いるグラフニューラルネットワークp GNNを提案する。これにより、同型的および異型的グラフの両方で効果的な学習が可能になる。この手法はスペクトル領域でローパス・ハイパスフィルタとして作用し、アグリゲーション重みを適応的に学習し、ノイズのあるエッジに対しても頑健である。異型的ベンチマークにおいて最先端のGNNを上回る性能を達成する。

ABSTRACT

Graph neural networks (GNNs) have demonstrated superior performance for semi-supervised node classification on graphs, as a result of their ability to exploit node features and topological information simultaneously. However, most GNNs implicitly assume that the labels of nodes and their neighbors in a graph are the same or consistent, which does not hold in heterophilic graphs, where the labels of linked nodes are likely to differ. Hence, when the topology is non-informative for label prediction, ordinary GNNs may work significantly worse than simply applying multi-layer perceptrons (MLPs) on each node. To tackle the above problem, we propose a new $p$-Laplacian based GNN model, termed as $^p$GNN, whose message passing mechanism is derived from a discrete regularization framework and could be theoretically explained as an approximation of a polynomial graph filter defined on the spectral domain of $p$-Laplacians. The spectral analysis shows that the new message passing mechanism works simultaneously as low-pass and high-pass filters, thus making $^p$GNNs are effective on both homophilic and heterophilic graphs. Empirical studies on real-world and synthetic datasets validate our findings and demonstrate that $^p$GNNs significantly outperform several state-of-the-art GNN architectures on heterophilic benchmarks while achieving competitive performance on homophilic benchmarks. Moreover, $^p$GNNs can adaptively learn aggregation weights and are robust to noisy edges.

研究の動機と目的

• 既存のGNNが異型的グラフにおいて限界を示す問題に対処すること、特に接続されたノードがしばしば異なるラベルを持つ状況である。
• 情報のないまたはノイズの多いトポロジーを持つグラフにおいて、標準的なGNNがMLPの性能を下回る問題を改善すること。
• 標準的な2-Laplacianを越えて一般化され、理論的に裏付けられたメッセージスティンメカニズムを構築すること。
• グラフの同型性に関する事前知識なしに、同型的および異型的グラフ設定の両方で効果的に動作するGNNを可能にすること。

提案手法

• 離散正則化フレームワークから導出されたp-Laplacianに基づくメッセージスティンメカニズムを提案し、p-Laplacianのスペクトル領域における多項式グラフフィルタの近似を実現する。
• メッセージスティンルールは、pの値に応じてローパス・ハイパスフィルタとして作用するグラフフィルタの近似として理論的に正当化される。
• ノード埋め込みの局所的変動（グラフ勾配ノルムで測定）に依存する適応的アグリゲーション重みを導入し、動的フィルタリング動作を可能にする。
• p=2のとき、SGC、APPNP、GPRGNNなどの既存モデルを一般化する新しいGNNアーキテクチャ、p GNNを設計する。
• スペクトル解析を用いて、p-Laplacianフィルタがノード表現における低周波成分と高周波成分の両方を強調できることを示す。
• フィルタの動作を制御する学習可能なパrameter pを採用し、モデルがグラフの同型性レベルやノイズ特性に自己適応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 p-Laplacianに基づくメッセージスティンメカニズムは、標準的なGNNが失敗する異型的グラフにおいてGNNの性能を向上させることができるか？
• RQ2 p-Laplacianメッセージスティンメカニズムはスペクトル的にどのように振る舞い、低周波・高周波成分の両方を保持するローパス・ハイパスフィルタとして機能できるか？
• RQ3 提案されたp GNNモデルは、ノイズが多いまたは情報のないトポロジーにおいて、局所的なノード埋め込みの変動に基づいて適応的にアグリゲーション重みを学習するか？
• RQ4 p GNNは同型的グラフにおいても競争力のある性能を達成できるか？ また、異型的ベンチマークにおいてはベースラインを著しく上回るか？
• RQ5 p GNNはエッジノイズに対してどれほど頑健か？ トポロジーが情報を持たない場合でも性能を維持できるか？

主な発見

• p GNNは異型的ベンチマークで最先端の性能を達成し、Chameleon や Squirrel のようなデータセットにおいてGCN、GAT、GPRGNNを上回る。
• Cora、CiteSeer、PubMedの同型的データセットでは、p GNNは競争力のある結果を達成しており、2.0 GNNはPhysicsで95.05%の精度を達成し、SGCやGCNと同等またはそれを上回る。
• Chameleonデータセットでは、1.5 GNNが86.94%の精度を達成し、GCN（84.12%）とGAT（86.50%）を著しく上回る。
• さまざまな異型性レベルを有する合成cSBMデータセットにおいて、p GNNはすべての設定で高い性能を維持し、グラフ構造の変化に対して頑健であることを示す。
• ノイズのあるエッジ実験では、p GNNは完全にランダムなグラフにおいてもMLPと同等の性能を示すが、標準的なGNNは著しく性能を低下させる。
• t-SNEによる可視化では、p GNNは同型的および異型的グラフの両方で、GCNや他のベースラインと比較してより判別力があり、明確に分離されたノード表現を学習することが示された。