[論文レビュー] FastGCN: Fast Learning with Graph Convolutional Networks via Importance Sampling

Jie Chen, Tengfei Ma+1 more|arXiv (Cornell University)|Jan 30, 2018

Advanced Graph Neural Networks参考文献 19被引用数 457

ひとこと要約

FastGCNはグラフ畳み込みを積分変換として再定義し、Monte Carloサンプリングと重要サンプリングを用いてGCNの帰納的でスケーラブルな訓練を可能にする。GCN/GraphSAGEと比較可能な精度で、1バッチあたりの訓練を比類のない速度で大幅に向上させる。

ABSTRACT

The graph convolutional networks (GCN) recently proposed by Kipf and Welling are an effective graph model for semi-supervised learning. This model, however, was originally designed to be learned with the presence of both training and test data. Moreover, the recursive neighborhood expansion across layers poses time and memory challenges for training with large, dense graphs. To relax the requirement of simultaneous availability of test data, we interpret graph convolutions as integral transforms of embedding functions under probability measures. Such an interpretation allows for the use of Monte Carlo approaches to consistently estimate the integrals, which in turn leads to a batched training scheme as we propose in this work---FastGCN. Enhanced with importance sampling, FastGCN not only is efficient for training but also generalizes well for inference. We show a comprehensive set of experiments to demonstrate its effectiveness compared with GCN and related models. In particular, training is orders of magnitude more efficient while predictions remain comparably accurate.

研究の動機と目的

• グラフ畳み込みネットワークのテストデータを必要とせず、スケーラブルで帰納的な学習を動機づける。
• 密なグラフにおける近傍展開によるメモリと時間のボトルネックに対処する。
• グラフ畳み込みを確率測度の下で積分として扱うMonte Carloフレームワークを導入する。
• 推定量の分散を低減し効率を改善する重要サンプリング戦略を開発する。
• 実験を通じて、FastGCNがベースラインと比較してはるかに速く、精度は同等であることを示す。

提案手法

• グラフ畳み込みを確率分布の下での頂点埋め込みの積分変換として再解釈する。
• 各層でt_l iidサンプルを用いたモンテカルロサンプリングによる層ごとの積分を近似する。
• サンプリングによって全体の目的関数を推定するバッチ損失を定義し、バッチ訓練を可能にする。
• トランダクティブGCNとは異なり、訓練データとテストデータを分離する帰納学習設定を導入する。
• 分散を低減するために固定のサンプリング分布q(u)を||Â(:,u)||^2に比例させる重要サンプリング手法を提案する。
• 2つのアルゴリズムを提供: (i) 標準的なFastGCNのバッチ訓練、(ii) サンプリング分布qを用いた分散低減版の改良版。
• 推論は新しい頂点に対して完全なアーキテクチャとして、あるいはサンプリングされた近似として行う。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークはテストデータにアクセスせずに帰納的に訓練できるか。
• RQ2 モンテカルロ積分とサンプリングは大規模/密度の高いグラフ上のGCNの計算負担をどのように軽減できるか。
• RQ3 重要サンプリングは一様サンプリングと比較して訓練効率と予測精度を改善するか。
• RQ4 サンプリング戦略が訓練目的の分散と収束に与える影響は何か。
• RQ5 FastGCNはPer-batchの時間と精度の点でGraphSAGEおよび標準のGCNとどのように比較されるか。

主な発見

• FastGCNはベンチマークデータセット上でGCNおよびGraphSAGEに対して1バッチあたりの速度を大幅に向上させる（オーダーオブマグニチュード）。
• 実験において重要サンプリングは一様サンプリングよりも精度を向上させる。
• ÂH(0)のような変換の事前計算は、訓練時間をさらに短縮し、精度は同等を維持できる。
• FastGCNはCora, PubMed, RedditのデータセットでマイクロF1スコアの競争力を示す。
• 訓練データとテストデータを分離することで帰納学習をサポートし、ストリーミングまたは拡張グラフにも適用可能である。