[論文レビュー] XPipe: Efficient Pipeline Model Parallelism for Multi-GPU DNN Training

Lei Guan, Wotao Yin+2 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Neural Network Applications参考文献 34被引用数 36

ひとこと要約

XPipe はマイクロバッチを用いた非同期パイプラインモデルパラレリズム法で、Adamベースの新規ウェイト予測を利用して高スループットを実現し、同期GPipeと同等の精度を保ちつつ、多くの設定でPipeDreamとSpecTrainを上回る。

ABSTRACT

We propose XPipe, an efficient asynchronous pipeline model parallelism approach for multi-GPU DNN training. XPipe is designed to use multiple GPUs to concurrently and continuously train different parts of a DNN model. To improve GPU utilization and achieve high throughput, it splits a mini-batch into a set of micro-batches. It allows the overlapping of the pipelines of multiple micro-batches, including those belonging to different mini-batches. Most importantly, the novel weight prediction strategy adopted by XPipe enables it to effectively address the weight inconsistency and staleness issues incurred by the asynchronous pipeline parallelism. As a result, XPipe incorporates the advantages of both synchronous and asynchronous pipeline model parallelism approaches. Concretely, it can achieve very comparable (even slightly better) model accuracy as its synchronous counterpart while obtaining higher throughput than it. Experimental results show that XPipe outperforms other state-of-the-art synchronous and asynchronous model parallelism approaches.

研究の動機と目的

• 複数のGPU間で同時トレーニングを可能にすることにより、マルチGPU DNNトレーニングにおける低いGPU利用率を解消する。
• 既存のパイプラインパラレリズム手法と比較して、モデル精度を保つまたは向上させつつスループットを向上させる。
• マイクロバッチ分割とクロスミニバッチトレーニングを活用して利用率とスケーラビリティを高める。

提案手法

• ミニバッチを T 個のマイクロバッチに分割して、GPU間にパイプラインを形成する。
• 異なるミニバッチのマイクロバッチのクロストレーニングを許可してGPUを忙しく保つ。
• ウェイトの不整合と古さを緩和するためにAdamベースのウェイト予測スキームを導入する。
• 先行的なマイクロバッチを設計して将来のウェイトを予測し、予測を再利用してオーバーヘッドを削減する。
• 安定性を保つためにマイクロバッチ間で勾配を蓄積し、更新を適用する前に蓄積する。
• 実行中のモーメントを活用した前向き・後向きパスのウェイト予測公式を提供する（式1-4）。

実験結果

リサーチクエスチョン

• RQ1 非同期パイプラインモデルパラレリズムを、多GPU DNNトレーニングにおいて同期的なアプローチと同等の精度にするにはどうすればよいか？
• RQ2 ウェイト予測を用いたマイクロバッチのクロストレーニングは、収束を犠牲にすることなくGPU利用率とスループットを向上させるか？
• RQ3 Adamベースのウェイト予測は、パイプラインDPトレーニングにおけるウェイトの不整合と古さに効果的に対処できるか？
• RQ4 共通のCNNモデルとデータセットにおける収束とスループットの観点で、XPipeはGPipe、PipeDream、SpecTrainとどのように比較されるか？

主な発見

• XPipeは高いスループットを達成し、検証されたモデルとデータセット全体でGPipeと同等またはそれ以上の精度を提供する。
• XPipeはGPipeよりスループットを向上させ（例：特定のTiny ImageNet 4-GPU実行で最大150.8%）、一般にPipeDreamおよびSpecTrainを精度の点で上回る。
• Adamベースのウェイト予測は、従来手法で用いられた平滑化勾配アプローチよりもウェイトの不整合と古さをより効果的に緩和する。
• XPipeはT値（T=1,2,4）や異なるオプティマイザ（RMSProp、Adam）にも堅牢な収束を維持する。
• GPipeの性能はTに敏感であるのに対し、XPipeはTに依存せず一定で高い利用率を維持し、Inception-V3およびResNet-101のTiny ImageNetで顕著なスループット向上を達成する。