[論文レビュー] Stochastic Training of Graph Convolutional Networks with Variance Reduction

Jianfei Chen, Jun Zhu+1 more|arXiv (Cornell University)|Oct 29, 2017

Advanced Graph Neural Networks参考文献 9被引用数 181

ひとこと要約

本論文は、近傍サンプリングを用いたGCNの高速で偏りのない確率的訓練を可能にする前処理とコントロール変量手法を提案し、速い収束でGCNと同等の正確な性能を達成する。

ABSTRACT

Graph convolutional networks (GCNs) are powerful deep neural networks for graph-structured data. However, GCN computes the representation of a node recursively from its neighbors, making the receptive field size grow exponentially with the number of layers. Previous attempts on reducing the receptive field size by subsampling neighbors do not have a convergence guarantee, and their receptive field size per node is still in the order of hundreds. In this paper, we develop control variate based algorithms which allow sampling an arbitrarily small neighbor size. Furthermore, we prove new theoretical guarantee for our algorithms to converge to a local optimum of GCN. Empirical results show that our algorithms enjoy a similar convergence with the exact algorithm using only two neighbors per node. The runtime of our algorithms on a large Reddit dataset is only one seventh of previous neighbor sampling algorithms.

研究の動機と目的

• GCNを用いたグラフ構造データ上で、効率的な半教師ありノード分類を動機づける。
• 確率的訓練によるGCNの高い計算コストに対処する。
• 高速な収束と正確な局所最適解を取り戻すための前処理とコントロール変量技術を導入する。
• 提案手法に対する理論的収束保証を提供する。

提案手法

• 期待出力を変えずにGCNの深さを1つ減らす前処理を導入する。
• 近傍サンプリングを適用して近傍集約を近似し、その限界を分析する。
• 過去の活性化を用いて偏りのない勾配推定量を作るコントロール変量（CV）法を提案する。
• ドロップアウトを考慮し平均活性化を維持する分散削減スキーム（CVD）を開発する。
• 理論的保証を提供する：CVは正確な予測と偏りのない勾配をもたらし、標準的な仮定の下で収束する。
• Exact、NS、NS+PP、CV+PP、CVD+PPの各バリアント間で時間計算量と収束挙動を比較する。

実験結果

リサーチクエスチョン

• RQ1 前処理によってGCNの深さを削減して識別性能を損なわずに済むか。
• RQ2 近傍サンプリングは性能を低下させるのか、分散削減で正確なGCNの挙動を回復できるのか。
• RQ3 コントロール変量アプローチは、フルバッチGCN訓練と同等の偏りのない勾配と正確な局所最適解を得られるか。
• RQ4 前処理と分散削減手法を組み合わせたときの時間計算量と収束のトレードオフはどうなるか。
• RQ5 提案手法はドロップアウト下でも性能を維持し、理論的収束保証を提供するか。

主な発見

• 前処理とコントロール変量アプローチは、正確なGCNの性能と一致しつつ、エポックあたりの時間を短縮できる。
• コントロール変量は偏りのない勾配を生み出し、ドロップアウトゼロ下で正確なGCNの局所最適解へ収束する。
• 分散削減技術は、近傍サンプリングとドロップアウトが引き起こす不安定性を緩和する。
• 標準的な滑らかさ仮定の下で、偏りのない勾配と収束の理論的保証を提供する。
• 異なるアルゴリズムのバリアントは、精度と計算効率の間で有利なトレードオフをベンチマークデータセットで示している。