[論文レビュー] SIGN: Scalable Inception Graph Neural Networks

Fabrizio Frasca, Emanuele Rossi+4 more|arXiv (Cornell University)|Apr 23, 2020

Advanced Graph Neural Networks参考文献 71被引用数 187

ひとこと要約

SIGNはサンプリング不要のグラフニューラルネットワークで、マルチスケールの事前計算可能な拡散演算子をインセプション風モジュールで用い、ウェブ規模のグラフに拡張しつつ、競争力のあるまたは最先端の性能を達成する。

ABSTRACT

Graph representation learning has recently been applied to a broad spectrum of problems ranging from computer graphics and chemistry to high energy physics and social media. The popularity of graph neural networks has sparked interest, both in academia and in industry, in developing methods that scale to very large graphs such as Facebook or Twitter social networks. In most of these approaches, the computational cost is alleviated by a sampling strategy retaining a subset of node neighbors or subgraphs at training time. In this paper we propose a new, efficient and scalable graph deep learning architecture which sidesteps the need for graph sampling by using graph convolutional filters of different size that are amenable to efficient precomputation, allowing extremely fast training and inference. Our architecture allows using different local graph operators (e.g. motif-induced adjacency matrices or Personalized Page Rank diffusion matrix) to best suit the task at hand. We conduct extensive experimental evaluation on various open benchmarks and show that our approach is competitive with other state-of-the-art architectures, while requiring a fraction of the training and inference time. Moreover, we obtain state-of-the-art results on ogbn-papers100M, the largest public graph dataset, with over 110 million nodes and 1.5 billion edges.

研究の動機と目的

• サンプリングを用いずにウェブ規模のグラフに対するスケーラブルなグラフ表現学習の動機づけ。
• 学習と推論を高速化するために拡散演算子を事前計算する、軽量で表現力のあるアーキテクチャを提案する。
• 大規模な誘導型および転送型ノード分類ベンチマークにおいて競争力のあるまたは最先端の性能を示す。

提案手法

• SIGNを導入する。複数の拡散演算子に対するインセプション風モジュールを備えたモデル：Y = σ([XΘ0, A1XΘ1, ..., ArXΘr]); Z = 処理済み特徴量の連結; Y = ξ(ZΩ)。
• 単純隣接、Personalized PageRank、三角形ベースの隣接などのべき乗版を含む事前計算可能な拡散演算子Aiを使用して、計算をグラフ構造からデカップリングする。
• 演算子をSIGN(p,s,t)として組み合わせることを許容し、p,s,tが単純隣接、PPR、三角形ベースの隣接のべき乗数を制御するため、柔軟でタスク駆動の受容野を実現する。
• SIGNを浅いアーキテクチャとして扱い、グラフフィルタリングを一度計算（事前計算）し、以後のMLP風処理はグラフサイズよりもNとdにスケールする。
• 演算子と活性化を適切に選択することで、SIGNが一般的なGCN/S-GCNのバリアントをエミュレートできることを示す（Table 2）。
• 大規模ベンチマークでベイズ最適化や標準的なトレーニング手法（Adam、ドロップアウト、バッチ正規化、アーリーストッピング）を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 サンプリング不要のGNNがマルチオペレータ、インセプション風拮 diffusionを用いて neighbor sampling なしに大規模グラフで競争力のある性能を達成できるか？
• RQ2 異なる拡散演算子（単純隣接、PPR、三角形ベース、およびそれらのべき乗）が、誘導型および転送型タスクの性能にどう影響するか？
• RQ3 ウェブ規模のデータセットでSIGNを使用する際のスケーラビリティ（学習/推論速度）と精度のトレードオフは？
• RQ4 SIGNはogbn-papers100Mのような最大規模の公開グラフベンチマークでも効率を維持しつつ最先端の結果を出せるか？
• RQ5 SIGNはサンプリングベースおよび他のスケーラブルGNNと比較して、収束性と実行時間の面でどうなるか？

主な発見

• SIGNはサンプリング不要手法の中でogbn-papers100Mにおける最先端の結果を達成し、転送型設定で他を少なくとも1.8%上回る。
• ogbn-papers100Mでの評価は迅速で、検証の1回の評価パスが約1.99秒、テストが約3.34秒（10回実行）。
• SIGNはサンプリング不要のベースラインをogbn-productsで少なくとも2.7%上回り、誘導データセット（Reddit、Flickr、PPI）でも競争力のある結果を達成。
• SIGNはClusterGCNおよびGraphSAINTに比べて訓練時に大幅な速度向上を示し、推論では大規模グラフ（最大1200万ノード程度）で最速を達成することが多くのケースで1桁のオーダーの差をつける。
• SIGNの性能は演算子の選択に対して頑健であり、最適構成はデータセット依存で、PPR、三角形、および単純隣接のべき乗がタスクごとに異なる寄与をする。
• A1X, ..., ArXの事前計算により、複雑さはMLPに匹敵するレベルになり、O(r Lff N d^2)にスケールし、学習/推論をグラフ構造に依存させない。