[論文レビュー] Identity-aware Graph Neural Networks

Jiaxuan You, Jonathan M. Gomes-Selman+2 more|arXiv (Cornell University)|Jan 25, 2021

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、メッセージパッシングGNNにノードのアイデンティティを統合することで、1-Weisfeiler-Lehman（1-WL）テストを越える表現力を有する一般化されたフレームワークであるアイデンティティ認識グラフニューラルネットワーク（ID-GNN）を提案する。非均質なメッセージパッシングまたはサイクルカウント特徴の補完を用いることで、ノード・エッジ・グラフの性質予測タスクにおいて最大40%の精度向上を達成し、リンク予測において顕著な改善を示し、グラフ分類ベンチマークでも競争力のある性能を示す。

ABSTRACT

Message passing Graph Neural Networks (GNNs) provide a powerful modeling framework for relational data. However, the expressive power of existing GNNs is upper-bounded by the 1-Weisfeiler-Lehman (1-WL) graph isomorphism test, which means GNNs that are not able to predict node clustering coefficients and shortest path distances, and cannot differentiate between different d-regular graphs. Here we develop a class of message passing GNNs, named Identity-aware Graph Neural Networks (ID-GNNs), with greater expressive power than the 1-WL test. ID-GNN offers a minimal but powerful solution to limitations of existing GNNs. ID-GNN extends existing GNN architectures by inductively considering nodes' identities during message passing. To embed a given node, ID-GNN first extracts the ego network centered at the node, then conducts rounds of heterogeneous message passing, where different sets of parameters are applied to the center node than to other surrounding nodes in the ego network. We further propose a simplified but faster version of ID-GNN that injects node identity information as augmented node features. Altogether, both versions of ID-GNN represent general extensions of message passing GNNs, where experiments show that transforming existing GNNs to ID-GNNs yields on average 40% accuracy improvement on challenging node, edge, and graph property prediction tasks; 3% accuracy improvement on node and graph classification benchmarks; and 15% ROC AUC improvement on real-world link prediction tasks. Additionally, ID-GNNs demonstrate improved or comparable performance over other task-specific graph networks.

研究の動機と目的

• 既存のメッセージパッシングGNNが1-WLグラフ同型性テストの制限を受けており、同じ近隣構造を持つノードを区別できないという根本的限界を解消すること。
• この表現力のボトルネックを解消しながらも、シンプルさやスケーラビリティを損なわずに、一般化可能でインダクティブかつ効率的なメッセージパッシングGNNの拡張を構築すること。
• 異なるサイズのd正則グラフにおけるノード、同じ近隣構造だが異なる最短経路距離を持つノード、およびグラフ分類における明確に異なるd正則グラフを区別できるGNNの能力を実現すること。
• 既存のGNNアーキテクチャに簡単に統合できる実用的で即時適用可能なソリューションを提供すること。

提案手法

• ID-GNNは各ターゲットノードを中心とするエゴネットを抽出し、中心ノードが周囲のノードとは異なるパラメータセットを用いることで、アイデンティティ認識の表現学習を可能にする反復的メッセージパッシングを実行する。
• 完全版のID-GNNは、中心ノードとその近隣ノードで異なる重み行列を用いる非均質なメッセージパッシングを採用しており、アイデンティティに基づく構造的役割の区別を可能にする。
• 簡略化版のID-GNN-Fastは、中心ノードから出発する各長さのサイクル数（サイクルカウント）を特徴量として補完することで、ノードアイデンティティ情報を統合する。
• サイクルカウントはノードごとに一度だけ事前計算され、繰り返し再訓練を必要としない構造的フィンガープrintとしてのアイデンティティ関連情報を捉える。
• 本手法は標準的なGNNフレームワークと互換性を持ち、既存のGNNレイヤーのドロップインリプレースとして実装可能である。
• 理論的分析により、ID-GNNは計算グラフにおける対称性を破ることで、1-WLテストを越える表現力を有することが示された。

実験結果

リサーチクエスチョン

• RQ1 メッセージパッシングGNNは、1-WLテストを越える表現力を有しながらも、シンプルさと効率性を保ち続けられるか？
• RQ2 トランスダクティブなワンホットエンコーディングに依存せずに、ノードアイデンティティをインダクティブにGNNのメッセージパッシングに統合する方法は何か？
• RQ3 中心ノードと近隣ノードのパラメータ共有の違いといった最小限のアーキテクチャ的変更が、1-WLに制限されたモデルが失敗するタスクでGNNの性能を顕著に向上させられるか？
• RQ4 サイクルカウントを用いた特徴補完は、完全な非均質なメッセージパッシングの代替として実用的かつ効果的か？
• RQ5 ID-GNNはノード・エッジ・グラフレベルの予測タスクに一般化可能であり、強力な性能を維持できるか？

主な発見

• 標準GNNと比較して、難易度の高いノード・エッジ・グラフの性質予測タスクにおいて、ID-GNNは平均して40%の精度向上を達成した。
• ノード分類およびグラフ分類ベンチマークでは、ベースラインGNNより3%の精度向上を示し、多様なデータセットにわたり一貫した向上を確認した。
• 実世界のリンク予測タスクでは、ROC AUCが15%向上し、同じ近隣構造だが異なる経路距離を持つノードを区別できる能力を示した。
• サイクルカウント特徴を用いるID-GNN-Fastは、完全な非均質なメッセージパッシング版と同等の性能を達成しながらも、はるかに高速で、一度の特徴事前処理で十分である。
• グラフ分類タスクでは、最良のID-GNN-FullモデルがPROTEINSで93.0%、MUTAGで96.5%、PTCで62.5%の精度を達成し、PPGN や GSN といった最先端モデルと同等またはそれを上回った。
• ID-GNNは、タスク固有でより複雑なアーキテクチャと比較して優れたまたは同等の性能を示し、汎用的かつ実用的なGNN強化手法としての有効性を裏付けた。