[論文レビュー] Pipe-SGD: A Decentralized Pipelined SGD Framework for Distributed Deep Net Training

Youjie Li, Mingchao Yu+4 more|arXiv (Cornell University)|Nov 8, 2018

Advanced Neural Network Applications参考文献 48被引用数 18

ひとこと要約

Pipe-SGD は、分散ディスカッション学習のトレーニングにおける計算と通信のオーバーラップを実現する分散型でパイプライン化された SGD フレームワークを提案する。10GbE リンクを備えた4ノードの GPU クラスタ上では、2段階のパイプラインにより通信と遅延マスクをバランスさせることで、壁時計時間で最大 5.4× の高速化を達成した。収束性と正確性を維持したままである。

ABSTRACT

Distributed training of deep nets is an important technique to address some of the present day computing challenges like memory consumption and computational demands. Classical distributed approaches, synchronous or asynchronous, are based on the parameter server architecture, i.e., worker nodes compute gradients which are communicated to the parameter server while updated parameters are returned. Recently, distributed training with AllReduce operations gained popularity as well. While many of those operations seem appealing, little is reported about wall-clock training time improvements. In this paper, we carefully analyze the AllReduce based setup, propose timing models which include network latency, bandwidth, cluster size and compute time, and demonstrate that a pipelined training with a width of two combines the best of both synchronous and asynchronous training. Specifically, for a setup consisting of a four-node GPU cluster we show wall-clock time training improvements of up to 5.4x compared to conventional approaches.

研究の動機と目的

• 計算能力の向上にもかかわらず通信ボトルネックが深刻化する分散ディスカッション学習における壁時計時間の増大に対処すること。
• 中央集権型パラメータサーバーおよび AllReduce ベースのフレームワークの制限を克服するため、通信と計算の遅延をマスクする分散型でパイプライン化されたトレーニングシステムを設計すること。
• ネットワーク遅延、帯域幅、クラスタサイズ、計算時間の要因を組み込んだタイミングモデルを構築し、システム設計とスケーラビリティ分析を支援すること。
• 分散環境下で効率的かつバランスの取れた通信とパイプライン処理を可能にすることで、モデルの正確性を損なわず大幅な高速化を達成すること。
• パイプライン幅が2のパイプライン処理が、収束性と効率性の点で同期型と非同期型トレーニングの長所を併せ持つことを実証すること。

提案手法

• 各ワーカーが自身のモデルを保持し、隣接ワーカーとのみ勾配を通信する分散型トレーニングフレームワークを設計し、中央集権型パラメータサーバーを排除すること。
• パイプライン幅が2のパイプライン化されたトレーニングプロセスを実装し、1つのミニバッチで勾配計算を実行しながら、前回のミニバッチの勾配を通信するようにすること。
• ネットワーク遅延、帯域幅、モデルサイズ、計算時間の要因を組み込んだタイミングモデルを構築し、壁時計性能のトレードオフを分析すること。
• 既存の研究に基づく修正された収束証明を用いて、提案されたパイプライン化・分散型環境下での理論的収束保証を確立すること。
• AllReduce ベースの通信レイヤーに効率的な圧縮技術を統合し、帯域幅の使用量を削減しながらモデルの正確性を損なわないようにすること。
• 各ワーカーの通信と計算フェーズを同期させることで、アイドル時間を最小限に抑えるように通信負荷をバランスさせること。

実験結果

リサーチクエスチョン

• RQ1 分散型でパイプライン化された SGD フレームワークは、分散ディスカッション学習のトレーニングにおいて通信と計算の遅延を効果的にマスクできるか？
• RQ2 現実のネットワークおよびハードウェア制約下で、パイプライン化されたフレームワークの壁時計時間トレーニング時間は、従来の中央集権型および分散型アプローチと比べてどの程度異なるか？
• RQ3 分散型トレーニングシステムにおいて、通信オーバーヘッドと収束安定性の両立を最適化するパイプライン幅は何か？
• RQ4 AllReduce ベースのパイプライン化フレームワークにおいて、圧縮技術をどの程度適用できるか？ただし、モデルの正確性や収束性の劣化を招かないようにする。
• RQ5 クラスタサイズおよびモデルの複雑さの増加に伴い、提案フレームワークのトレーニングスピードアップおよびリソース利用効率はどの程度向上するか？

主な発見

• Pipe-SGD は、10GbE リンクを備えた4ノードの GPU クラスタ上において、従来の中央集権型および分散型トレーニング手法と比較して、最大 5.4× の壁時計時間の高速化を達成した。
• ResNet-18 や VGG-16 といったさまざまなモデルにおいて一貫した高速化を示し、モデルやクラスタ構成に応じて 3.2× から 5.4× の改善が得られた。
• パイプライン幅が2のパイプライン処理は、計算または通信の遅い方を効果的にマスクし、アイドル時間を削減し、リソース利用効率を向上させた。
• 提案フレームワークは、標準的な同期型および非同期型 SGD と同等の収束性と正確性を維持しており、実験では劣化は観察されなかった。
• タイミングモデルは性能のトレードオフを正確に予測でき、設計選択の妥当性を検証し、効果的なシステムチューニングを可能にした。
• 量子化などの圧縮技術は、AllReduce パイプラインに効率的に統合可能であり、トレーニングの安定性や最終的なモデル正確性を損なわないことが確認された。