[論文レビュー] Network In Graph Neural Network

Xiang Song, Runjie Ma+3 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Graph Neural Networks参考文献 40被引用数 6

ひとこと要約

本稿では、GNN層内に非線形の順方向ネットワークを挿入することで、過学習や過剰平滑化を回避しながらGNNの表現能力を向上させるモデルに依存しない手法であるNetwork-in-Graph Neural Network (NGNN)を提案する。NGNNは多様なGNNとタスクにおいて性能を向上させ、OGBリンク予測リーダーボードにおいて、SEALではhits@100で最大7.08%向上、GraphSage+Edge-Attrではhits@20で最大6.22%向上を達成し、最先端の結果を実現した。

ABSTRACT

Graph Neural Networks (GNNs) have shown success in learning from graph structured data containing node/edge feature information, with application to social networks, recommendation, fraud detection and knowledge graph reasoning. In this regard, various strategies have been proposed in the past to improve the expressiveness of GNNs. For example, one straightforward option is to simply increase the parameter size by either expanding the hid-den dimension or increasing the number of GNN layers. However, wider hidden layers can easily lead to overfitting, and incrementally adding more GNN layers can potentially result in over-smoothing.In this paper, we present a model-agnostic methodology, namely Network In Graph Neural Network (NGNN ), that allows arbitrary GNN models to increase their model capacity by making the model deeper. However, instead of adding or widening GNN layers, NGNN deepens a GNN model by inserting non-linear feedforward neural network layer(s) within each GNN layer. An analysis of NGNN as applied to a GraphSage base GNN on ogbn-products data demonstrate that it can keep the model stable against either node feature or graph structure perturbations. Furthermore, wide-ranging evaluation results on both node classification and link prediction tasks show that NGNN works reliably across diverse GNN architectures.For instance, it improves the test accuracy of GraphSage on the ogbn-products by 1.6% and improves the hits@100 score of SEAL on ogbl-ppa by 7.08% and the hits@20 score of GraphSage+Edge-Attr on ogbl-ppi by 6.22%. And at the time of this submission, it achieved two first places on the OGB link prediction leaderboard.

研究の動機と目的

• 隠れ次元や層の増加に起因する深層GNNにおける過学習および過剰平滑化を解消すること。
• モデルの深さや幅を著しく増加させることなく、GNNの表現能力を向上させるモデルに依存しない手法を開発すること。
• ノード特徴量およびグラフ構造の摂動に対して耐性を持つこと。
• 計算コストを最小限に抑えつつ、大規模グラフベンチマークデータセットで最先端の性能を達成すること。
• 近傍サンプリング、クラスターベースのサンプリング、局所部分グラフサンプリングを含む、さまざまな学習手法との互換性を確保すること。

提案手法

• 追加のGNN層を積み重ねるのではなく、各GNN層内に非線形の順方向ニューラルネットワーク層を挿入する。
• 配置の影響を調査するために、入力、隠れ層、出力GNN層に個別にNGNNを適用する。
• ReLUやSigmoidなどの活性化関数をNGNN層に適用し、追加の非線形性を導入する。
• GraphSage、GAT、GCN、AGDN、SEALなど、複数のGNNアーキテクチャとNGNNを統合する。
• フルグラフ学習、近傍サンプリング、グラフクラスタリング、局所部分グラフサンプリングを含む、さまざまな学習パラダイムをサポートする。
• ablation studyを通じて、ogbn-productsおよびその他のベンチマーク上でNGNNの配置と構造を最適化する。

実験結果

リサーチクエスチョン

• RQ1 GNN層内に順方向ネットワークを挿入することで、モデルの深さや幅を増加させずに表現力が向上するか？
• RQ2 ノード特徴量およびグラフ構造の摂動下でも、NGNNはモデルの耐性を高めるか？
• RQ3 GNNアーキテクチャのどの部分（入力、隠れ層、出力）にNGNNを適用すると最も効果的か？
• RQ4 NGNNは多様なGNNモデルとタスクで最先端の性能を達成できるか？
• RQ5 従来の深層GNNアプローチと比較して、NGNNのメモリ効率および学習効率はどの程度か？

主な発見

• NGNNを隠れ層に適用した場合、ogbn-productsにおけるGraphSageのテスト精度が1.6%向上し、79.91%に達した。
• すべての層にNGNNを適用した場合、ogbl-ppaにおけるSEALのhits@100スコアが7.08%向上し、76.48%に達した。
• すべての層にNGNNを適用した場合、ogbl-ppiにおけるGraphSage+Edge-Attrのhits@20スコアが6.22%向上し、83.45%に達した。
• AGDN+BoT+self-KD+C&Sを用いたNGNNは、パrameter数を減らしながら、ogbn-arxivノード分類リーダーボードで4位を達成した。
• GAT+BoTを用いたNGNNは、ogbn-proteinsリーダーボードで2位を達成し、高い効率と性能を示した。
• NGNNは摂動に対して安定しており、ogbn-productsにおけるノード特徴量およびグラフ構造の変更の両方において、性能を維持した。