[論文レビュー] FastGCN: Fast Learning with Graph Convolutional Networks via Importance Sampling

Jie Chen, Tengfei Ma+1 more|arXiv (Cornell University)|Jan 30, 2018

Advanced Graph Neural Networks被引用数 639

ひとこと要約

FastGCN はグラフ畳み込みを積分変換として再定式化し、重要度ウェイト付きモンテカルロサンプリングを用いて帰納的に学習を行えるようにし、標準の GCN や GraphSAGE よりもはるかに低いミニバッチあたりのコストで、精度はほぼ同等のまま維持する。

ABSTRACT

The graph convolutional networks (GCN) recently proposed by Kipf and Welling are an effective graph model for semi-supervised learning. This model, however, was originally designed to be learned with the presence of both training and test data. Moreover, the recursive neighborhood expansion across layers poses time and memory challenges for training with large, dense graphs. To relax the requirement of simultaneous availability of test data, we interpret graph convolutions as integral transforms of embedding functions under probability measures. Such an interpretation allows for the use of Monte Carlo approaches to consistently estimate the integrals, which in turn leads to a batched training scheme as we propose in this work---FastGCN. Enhanced with importance sampling, FastGCN not only is efficient for training but also generalizes well for inference. We show a comprehensive set of experiments to demonstrate its effectiveness compared with GCN and related models. In particular, training is orders of magnitude more efficient while predictions remain comparably accurate.

研究の動機と目的

• テストデータへの依存を排除した、グラフ畳み込みの帰納的学習フレームワークを導入する。
• サンプリングを用いて、大規模で密なグラフ上の GCN の訓練時間とメモリ負荷を削減する。
• 層ごとの畳み込みと損失のための厳密なモンテカルロ推定量を提供する。
• 精度を保ちつつサンプリングの効率を改善するための分散削減技術を開発する。

提案手法

• グラフ畳み込みを、確率測度の下で頂点埋め込み関数の積分変換として解釈する。
• モンテカルロサンプリングを用いて層変換と損失を推定し、バッチ訓練を可能にする。
• 推定量の分散を削減するために重要度サンプリングを適用し、最適なサンプリング分布を導出する。
• 各層ごとにサンプリングを行い、バッチ勾配の逆伝播を行うバッチ訓練アルゴリズム（FastGCN）を提供する。
• 2 つの変種を提案する：一様サンプリングと重要度サンプリング；学習を高速化するための AH(0) の事前計算を行う。
• 近傍全体をサンプリングするのではなく頂点をサンプリングすることにより、メモリ使用量を削減する方法を示す。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みを積分変換として再定式化して、テストデータを必要とせずに帰納的学習を実現できるか。
• RQ2 隣接空間サンプリングではなく頂点ごとのサンプリングは、大規模グラフ上での GCN の計算コストを実質的に節約できるか。
• RQ3 FastGCN において、均等サンプリングと比較して重要度サンプリングはモンテカルロ推定の分散を改善できるか。
• RQ4 標準ベンチマークにおける訓練時間と予測精度の観点で、FastGCN は GCN および GraphSAGE と比較してどのように性能を示すか。
• RQ5 帰納的 FastGCN フレームワークを用いた推論の実践的影響は何か。

主な発見

• FastGCN は per-batch 訓練時間で GCN および GraphSAGE に対して数量級の高速化を達成する。
• 重要度サンプリングが実験で一貫して一様サンプリングより高い精度を示した。
• FastGCN の予測精度は、データセット間で GCN および GraphSAGE とほぼ比較可能である。
• 入力層の AH(0) の事前計算は、同等の精度で訓練時間を大幅に削減できる。
• 訓練データとテストデータを分離し、全隣接の展開を回避することで、FastGCN は帰納的学習を可能にする。