[論文レビュー] Adaptive Sampling Towards Fast Graph Representation Learning

Wenbing Huang, Tong Zhang+2 more|arXiv (Cornell University)|Sep 14, 2018

Advanced Graph Neural Networks被引用数 228

ひとこと要約

この論文は、大規模グラフ上での層ごとの適応サンプリングと分散低減トレーニング、およびスキップ接続を導入してGCNを加速し、ベースラインよりも高速な収束と精度向上を達成します。

ABSTRACT

Graph Convolutional Networks (GCNs) have become a crucial tool on learning representations of graph vertices. The main challenge of adapting GCNs on large-scale graphs is the scalability issue that it incurs heavy cost both in computation and memory due to the uncontrollable neighborhood expansion across layers. In this paper, we accelerate the training of GCNs through developing an adaptive layer-wise sampling method. By constructing the network layer by layer in a top-down passway, we sample the lower layer conditioned on the top one, where the sampled neighborhoods are shared by different parent nodes and the over expansion is avoided owing to the fixed-size sampling. More importantly, the proposed sampler is adaptive and applicable for explicit variance reduction, which in turn enhances the training of our method. Furthermore, we propose a novel and economical approach to promote the message passing over distant nodes by applying skip connections. Intensive experiments on several benchmarks verify the effectiveness of our method regarding the classification accuracy while enjoying faster convergence speed.

研究の動機と目的

• 大規模グラフにおける近傍展開の問題に起因するグラフ畳み込みネットワーク（GCN）のスケーラビリティ課題を動機づけ、解決する。
• 層ごとにサンプリングを共有する枠組みを提案し、層のサイズを固定し展開を制御する。
• 現実的な方法で分散を最小化する適応サンプルを導入し、分散低減目的をトレーニングに組み込む。
• スキップ接続を介して長距離メッセージ伝搬を強化し、2次近傍の保持を重い追加計算なしに実現する。

提案手法

• GCNの更新を期待値として再定式化し、全近傍展開をモンテカルロ推定に置換する。
• 層ごとにサンプリングを1回実行し、上位層のノード間で近傍を共有する層ごとのサンプリングを開発する。
• 分散を近似する分布（Eq. 9）を近似する自己依存関数 g(x(u_j)) に基づく適応サンプル q(u_j) を設計し、分散低減をハイブリッド損失に組み込む。
• 直接 A^2 を計算せずに2-hop近傍を可能にするため、(l-1) 層のノードを再利用するスキップ接続スキームを導入する（Eq. 12–13）。
• サンプラーを既存手法（GraphSAGE、FastGCN）に関連づけ、層ごとフレームワークに適応した注意機構風の変種（GAT様式）を検討する。
• 標準グラフ（Cora、Citeseer、Pubmed、Reddit）での inductive 学習設定と実証評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 層ごとのサンプリングと近傍の共有は、標準的なグラフベンチマークで訓練を速めつつ精度を維持または向上できるか？
• RQ2 適応的で分散低減を伴うサンプラーは、ノードごとやIID層サンプリングよりも安定性と収束性で優れているか？
• RQ3 スキップ接続を取り入れて二次近接を保持することは、収束と予測性能を改善するか？
• RQ4 提案手法は、既存のサンプリングベースまたはアテンションベースのグラフモデルと比べてどのように評価されるか？

主な発見

方法	Cora	Citeseer	Pubmed	Reddit
Full	0.8664±0.0011	0.7934±0.0026	0.9022±0.0008	0.9568±0.0069
IID	0.8506±0.0048	0.7387±0.0078	0.8200±0.0114	0.8611±0.0437
Node-Wise	0.8202±0.0133	0.7734±0.0081	0.9002±0.0017	0.9449±0.0026
Adapt (no vr)	0.8588±0.0062	0.7942±0.0022	0.9060±0.0024	0.9501±0.0047
Adapt	0.8744±0.0034	0.7966±0.0018	0.9060±0.0016	0.9627±0.0032

• Adapt は Cora・Citeseer・Pubmed・Reddit で強力なベースラインより高いテスト精度を達成（例：Cora 0.8744、Citeseer 0.7966、Pubmed 0.9060、Reddit 0.9627）。
• Adapt は Full GCN、IID、GraphSAGE、FastGCN のベースラインを上回り、特に収束の速さ（エポックあたりの訓練時間）と安定性の向上を示す。
• 適応サンプラー（λ>0）による分散低減は、分散項を削除した（λ=0）場合よりも Cora と Reddit で良好な性能を示し、Citeseer では分散影響が小さい。
• スキップ接続は収束を大幅に加速し（例：Cora で収束エポック数を約150から約100に削減）、最終精度の変化は控えめ。
• 明示的な2-hopサンプリング変体（A^2使用）は精度をさらに向上させる可能性があるが、スキップ接続は大規模グラフに対して計算負荷が低い代替を提供する。
• IIDやノードごとのサンプリングと比較して、層ごとのサンプリングは層間の相関を条件付きで捉え、より速く安定した訓練を実現する。