[論文レビュー] Graph Neural Networks with Heterophily

Jiong Zhu, Ryan A. Rossi+5 more|arXiv (Cornell University)|Sep 28, 2020

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、クラスレベルの接続可能性をモデル化する解釈可能な適合性行列を学習することで、同型性および異型性の両方のグラフに一般化する新しいGNNフレームワークCPGNNを提案する。この手法は、ノード特徴量への依存度を最小限に抑えつつ、低データおよび特徴なしの状況でも先行するGNNを上回る最先端の性能を達成し、同型性の状況でも強力な性能を維持する。

ABSTRACT

Graph Neural Networks (GNNs) have proven to be useful for many different practical applications. However, many existing GNN models have implicitly assumed homophily among the nodes connected in the graph, and therefore have largely overlooked the important setting of heterophily, where most connected nodes are from different classes. In this work, we propose a novel framework called CPGNN that generalizes GNNs for graphs with either homophily or heterophily. The proposed framework incorporates an interpretable compatibility matrix for modeling the heterophily or homophily level in the graph, which can be learned in an end-to-end fashion, enabling it to go beyond the assumption of strong homophily. Theoretically, we show that replacing the compatibility matrix in our framework with the identity (which represents pure homophily) reduces to GCN. Our extensive experiments demonstrate the effectiveness of our approach in more realistic and challenging experimental settings with significantly less training data compared to previous works: CPGNN variants achieve state-of-the-art results in heterophily settings with or without contextual node features, while maintaining comparable performance in homophily settings.

研究の動機と目的

• 既存のGNNが暗黙的に同型性（接続されたノードが同じクラスに属する）を仮定しているという限界に対処すること。これは、実世界のグラフに見られる異型性において性能を低下させる要因となる。
• 実用的応用においてしばしば欠落または不完全な文脈的ノード特徴量への依存度を低減すること。
• グラフ内の同型性および異型性の両パターンを捉えるクラス適合性行列をエンド・トゥ・エンドで学習可能にする仕組みを提供すること。
• 同型性および異型性の両方のグラフ構造に対して、解釈可能で一般化可能なフレームワークを提供し、GNNの性能を向上させること。

提案手法

• CPGNNは、異なるクラスのノード間の接続可能性をモデル化する学習可能な適合性行列 $\mathbf{H}$ を導入し、同型性および異型性の両方の状況に適応できるようにする。
• フレームワークは、ノードの初期信念推定値を生成するための汎用的なニューラルネットワークを用い、その後、学習された $\mathbf{H}$ 行列を用いてグラフ全体にわたって伝搬する。
• ノード表現は、メッセージパッシングにより更新され、各ノードが隣接ノードからの信念を集約し、適合性行列のエントリによって重み付けされる。
• 適合性行列 $\mathbf{H}$ は、モデルの他の部分とエンド・トゥ・エンドで同時に学習されるため、限られた訓練データからでも、元の接続パターンを回復できる。
• この手法はGCNを一般化する：$\mathbf{H}$ を単位行列（純粋な同型性）に設定した場合、CPGNNはGCNに簡略化される。
• フレームワークは特徴豊富な状況と特徴なし状況の両方をサポートしており、現実的な低データ状況でも頑健である。

実験結果

リサーチクエスチョン

• RQ1 強い同型性仮定に依存せずに、同型性および異型性の両方のグラフを扱えるようにGNNフレームワークを一般化できるか？
• RQ2 エンド・トゥ・エンドで学習された適合性行列は、実世界のグラフにおける複雑なノード接続パターンをどれほど効果的にモデル化できるか？
• RQ3 CPGNNは、既存のGNNが失敗する低データおよび特徴なしの状況でも、強力な性能を維持できるか？
• RQ4 学習された適合性行列は、グラフの構造的性質に関する解釈可能なインサイトをどれほど提供できるか？

主な発見

• CPGNNは、先行研究よりも顕著に少ない訓練サンプルで、異型性設定において最先端の性能を達成した。
• 同型性設定では、ベースラインGNNと同等の性能を維持しており、モデルの一般化能力を示している。
• 特徴なしの状況では、ノード特徴量がなくとも、学習された適合性行列を活用して構造的パターンを推論できるため、既存のGNNを上回った。
• 適合性行列 $\mathbf{H}$ は解釈可能である：ヒートマップでは、エントリが学習中に安定し、真の接続パターンと整合することが示された。
• $\mathbf{H}$ を単位行列に設定した場合、CPGNNはGCNに簡略化される。これは、既存のGNNと理論的に整合していることを検証する。
• 広範な実験により、$\mathbf{H}$ のエンド・トゥ・エンド学習が、限られたデータからでも、元の適合性情報を回復可能であることが確認された。