[論文レビュー] PipeGCN: Efficient Full-Graph Training of Graph Convolutional Networks with Pipelined Feature Communication

Cheng Wan, Youjie Li+4 more|arXiv (Cornell University)|Mar 20, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

PipeGCNは、分散Graph Convolutional Network（GCN）学習におけるパーティション間通信のオーバーヘッドを隠すために、パイプライン化された通信-計算スキームを提案する。これにより、特徴量および勾配の陳腐化にもかかわらず、ほぼオリジナルの収束速度を達成でき、複数のデータセットおよびGPU設定において、スループットが1.7倍から28.5倍向上し、一貫した精度を維持する。

ABSTRACT

Graph Convolutional Networks (GCNs) is the state-of-the-art method for learning graph-structured data, and training large-scale GCNs requires distributed training across multiple accelerators such that each accelerator is able to hold a partitioned subgraph. However, distributed GCN training incurs prohibitive overhead of communicating node features and feature gradients among partitions for every GCN layer during each training iteration, limiting the achievable training efficiency and model scalability. To this end, we propose PipeGCN, a simple yet effective scheme that hides the communication overhead by pipelining inter-partition communication with intra-partition computation. It is non-trivial to pipeline for efficient GCN training, as communicated node features/gradients will become stale and thus can harm the convergence, negating the pipeline benefit. Notably, little is known regarding the convergence rate of GCN training with both stale features and stale feature gradients. This work not only provides a theoretical convergence analysis but also finds the convergence rate of PipeGCN to be close to that of the vanilla distributed GCN training without any staleness. Furthermore, we develop a smoothing method to further improve PipeGCN's convergence. Extensive experiments show that PipeGCN can largely boost the training throughput (1.7x~28.5x) while achieving the same accuracy as its vanilla counterpart and existing full-graph training methods. The code is available at https://github.com/RICE-EIC/PipeGCN.

研究の動機と目的

• 複数のアクセceleratorに跨る分散GCN学習における高い通信オーバーヘッドと同期コストを解消すること。
• 通信ボトルネックを最小限に抑えることで、モデル精度を損なわず、効率的なフルグラフ学習を可能にすること。
• パイプライン化された学習における特徴量および勾配の陳腐化によって引き起こされる収束劣化を理論的に分析し、緩和すること。
• 陳腐化の影響を受ける状況下でも収束を改善する、実用的で低オーバーヘッドのスムージング手法を開発すること。
• オリジナルの分散GCNおよび最先端のフルグラフ学習手法と比較して、顕著なスループット向上を実証すること。

提案手法

• GCN層に跨る通信遅延を隠すために、パーティション内計算とパーティション間通信をパイプライン化すること。
• 効率性を高めるために、すべての通信操作をバッチ処理するため、第二のCUDAストリームを用いて通信と計算をオーバーラップすること。
• 特徴量および勾配の陳腐化に起因する誤差を低減するためのスムージング手法を導入し、収束安定性を向上させること。
• バックプロパゲーションにおけるノイズを回避し、勾配の一貫性を保つために、通信後にドロップアウトを適用すること。
• パイプライン化された環境下でも、フォワードパスとバックワードパスで一貫したドロップアウトマスクを維持することで、モデル精度を保つこと。
• 10Gbpsイーサネットを用いた複数のGPUサーバーにスケーリングし、さまざまなパーティショニングおよびハードウェア設定下でも堅牢性を示すこと。

実験結果

リサーチクエスチョン

• RQ1 パーティション内計算とパーティション間通信をパイプライン化することで、モデル精度を損なわず、分散GCN学習におけるトレーニング時間を顕著に短縮できるか？
• RQ2 パイプライン化によって特徴量および特徴量勾配が陳腐化する場合、GCN学習の理論的収束速度はどのようになるか？
• RQ3 提案されたスムージング手法は、特徴量および勾配通信における陳腐化が引き起こす誤差をどのように低減するか？
• RQ4 異なるデータセットおよびハードウェア設定において、PipeGCNはオリジナルの分散GCNおよび既存のフルグラフ学習手法と比較して、スループットと精度でどのように差をつけるか？
• RQ5 異種のパーティショニングおよびネットワーク制約を伴う複数のGPUサーバーにスケーリングする際、PipeGCNは高いトレーニング効率と精度を維持できるか？

主な発見

• PipeGCNは、オリジナルの分散GCN学習と比較して、全評価データセットで1.7倍から28.5倍のトレーニングスループット向上を達成し、一貫した精度を維持する。
• PipeGCNの理論的収束速度はO(T^(-2/3))であり、陳腐化がないオリジナルの分散GCN学習のO(T^(-1))に近く、非常に近い。
• 提案されたスムージング手法により、陳腐化に起因する誤差がさらに低減され、高いスループットで安定した学習が可能になる。
• Redditデータセットでは、2〜16GPUパーティションの間で97.0%〜97.14%の精度を維持し、小規模な構成では1.16倍から1.65倍のスピードアップを達成、3×4GPU構成では最大1.65倍のスピードアップを示した。
• 複数のGPUサーバーにスケーリングする際も、パーティショニングやハードウェア構成にかかわらず、15%〜66%のスピードアップを維持し、精度を保ったまま効果的にスケーリング可能である。
• 実験的結果から、PipeGCNの変種（例：PipeGCN-GF）は、オリジナル学習と同等の収束速度を達成するが、ウォールクロック時間は半分で済むことが確認され、パイプライン化とスムージングの有効性が裏付けられた。