[論文レビュー] GraphSAINT: Graph Sampling Based Inductive Learning Method

Hanqing Zeng, Hongkuan Zhou+3 more|arXiv (Cornell University)|Jul 10, 2019

Advanced Graph Neural Networks参考文献 33被引用数 336

ひとこと要約

GraphSAINT は、サンプル化されたサブグラフで学習することにより、大規模グラフ上での帰納的学習のためのグラフサンプリングフレームワークを提示する。

ABSTRACT

Graph Convolutional Networks (GCNs) are powerful models for learning representations of attributed graphs. To scale GCNs to large graphs, state-of-the-art methods use various layer sampling techniques to alleviate the "neighbor explosion" problem during minibatch training. We propose GraphSAINT, a graph sampling based inductive learning method that improves training efficiency and accuracy in a fundamentally different way. By changing perspective, GraphSAINT constructs minibatches by sampling the training graph, rather than the nodes or edges across GCN layers. Each iteration, a complete GCN is built from the properly sampled subgraph. Thus, we ensure fixed number of well-connected nodes in all layers. We further propose normalization technique to eliminate bias, and sampling algorithms for variance reduction. Importantly, we can decouple the sampling from the forward and backward propagation, and extend GraphSAINT with many architecture variants (e.g., graph attention, jumping connection). GraphSAINT demonstrates superior performance in both accuracy and training time on five large graphs, and achieves new state-of-the-art F1 scores for PPI (0.995) and Reddit (0.970).

研究の動機と目的

• サブグラフサンプリングを用いた大規模グラフでのスケーラブルな帰納的学習を可能にする。
• サンプリング時にノード予算とエッジ予算を通じて計算資源を制御する。
• ルートノードとランダムウォークを活用して、学習のための有益なサブグラフを構築する。

提案手法

• サンプリングパラメータを指定する: ノード予算 n、エッジ予算 m、ルートの数 r、ランダムウォークの長さ h。
• 元のグラフ G(V,E) からサブグラフ Gs(Vs, Es) をサンプリングして訓練データを作成する。
• サンプリングされたサブグラフをグラフニューラルネットワークに適した訓練単位に変換する。
• 多様で代表的なサブグラフサンプルを得るために、ルートベースまたはウォークベースの戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 サブグラフサンプリングは、帰納的グラフ学習の精度と一般化にどのような影響を与えるか？
• RQ2 ノード予算とエッジ予算とモデル性能とのトレードオフは何か？
• RQ3 ランダムウォークベースのサンプリングは訓練に有用なサブグラフを生み出せるか？
• RQ4 サンプリング戦略は非常に大規模なグラフへのスケーラビリティにどのように影響するか？

主な発見

• 提供された抜粋には利用可能な結論が含まれていません；提供されたテキストには実験結果や定量的な発見が含まれていません。