[論文レビュー] Nested Graph Neural Networks

Muhan Zhang, Pan Li|arXiv (Cornell University)|Oct 25, 2021

Advanced Graph Neural Networks参考文献 63被引用数 33

ひとこと要約

NGNNはネストされた根付きサブグラフを導入してノード表現を学習し、1-WLおよび標準GNNより厳密に強力でありつつ、線形時間の計算量を維持し、複数のベースGNNとデータセットで一貫した性能向上を示す。

ABSTRACT

Graph neural network (GNN)'s success in graph classification is closely related to the Weisfeiler-Lehman (1-WL) algorithm. By iteratively aggregating neighboring node features to a center node, both 1-WL and GNN obtain a node representation that encodes a rooted subtree around the center node. These rooted subtree representations are then pooled into a single representation to represent the whole graph. However, rooted subtrees are of limited expressiveness to represent a non-tree graph. To address it, we propose Nested Graph Neural Networks (NGNNs). NGNN represents a graph with rooted subgraphs instead of rooted subtrees, so that two graphs sharing many identical subgraphs (rather than subtrees) tend to have similar representations. The key is to make each node representation encode a subgraph around it more than a subtree. To achieve this, NGNN extracts a local subgraph around each node and applies a base GNN to each subgraph to learn a subgraph representation. The whole-graph representation is then obtained by pooling these subgraph representations. We provide a rigorous theoretical analysis showing that NGNN is strictly more powerful than 1-WL. In particular, we proved that NGNN can discriminate almost all r-regular graphs, where 1-WL always fails. Moreover, unlike other more powerful GNNs, NGNN only introduces a constant-factor higher time complexity than standard GNNs. NGNN is a plug-and-play framework that can be combined with various base GNNs. We test NGNN with different base GNNs on several benchmark datasets. NGNN uniformly improves their performance and shows highly competitive performance on all datasets.

研究の動機と目的

• グラフ分類のために根付きツリーだけではなく、より豊かな局所グラフ構造を捉える必要性を動機づける。
• 各ノードの周りのルート付きサブグラフを二層のGNNフレームワークでエンコードするNGNNを提案する。
• NGNNが定義された条件下で1-WLおよび標準のメッセージパッシングGNNより厳密に強力であることを証明する。
• 既存のベースGNNに対するドロップイン強化としてNGNNのスケーラビリティと互換性を実証する。

提案手法

• ルート付きサブグラフを定義し、内部のベースGNNがルート付きサブグラフ上で動作するNGNNアーキテクチャを定義する。
• 各ルート付きサブグラフから最終的な根ノード表現を得るサブグラフプーリング層を適用する。
• 外部GNN（またはグラフプーリング）を用いて根ノード表現を全グラフ表現に集約する。
• ベースGNNは任意のGNNで構成できることを示す；すべての内部GNNはパラメータを共有し、コピーされたサブグラフ上で動作する。
• NGNNの拡張表現力を理論的に証明（ほぼすべてのr-正則グラフを識別する）し、計算量をグラフサイズに対して線形であることを論じる。
• ノード特徴をサブグラフ特有の特徴で補強する（距離エンコードなど）ことで表現を改善することを任意で提案する。

実験結果

リサーチクエスチョン

• RQ1 NGNNは1-WLが識別できないグラフを識別できるか？
• RQ2 さまざまなベースGNNと組み合わせた場合、NGNNは benchmarksでどれだけの性能向上をもたらすか？
• RQ3 NGNNは大規模グラフに対してもスケーラブルで、標準GNNと比較した効率を維持できるか？
• RQ4 実務的には、NGNNは高次WLベースGNNとどのように比較されるか？
• RQ5 サブグラフの高さとベースGNNの選択はNGNNの性能にどのような影響を与えるか？

主な発見

• NGNNは1-WLが失敗するnサイズのr-正則グラフのほぼすべてのペアを識別できる。
• NGNNはQM9、TU、OGBベンチマークで複数のベースGNNに対して一貫して性能を向上させる。
• 小さな根付きサブグラフを仮定した場合、グラフサイズに対して線形の時間と空間計算量を維持する。
• サブグラフプーリングによりリッチな表現を得られるため、深いアーキテクチャを用意せずとも単一層または少数層のNGNNで十分である。
• 実験結果は、オープンベンチマークでNGNNが強力なベースラインと競合するまたはそれを上回る性能を示す。