[論文レビュー] Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices

Max Ryabinin, Eduard Gorbunov+2 more|arXiv (Cornell University)|Mar 4, 2021

Brain Tumor Detection and Classification被引用数 8

ひとこと要約

本論文では、異種かつ信頼性の低いデバイスを対象とした通信効率の高い分散学習フレームワーク「Moshpit SGD」を提案する。Moshpit All-Reduceは、動的で分散型のグループ化プロトコルであり、グローバル平均勾配への指数的収束を実現し、リモート学習やクラウドベースの分散学習環境において、gossipベースの手法と比較してResNet-50/ImageNetで1.3倍、ALBERT-largeで1.5倍の高速化を達成した。

ABSTRACT

Training deep neural networks on large datasets can often be accelerated by using multiple compute nodes. This approach, known as distributed training, can utilize hundreds of computers via specialized message-passing protocols such as Ring All-Reduce. However, running these protocols at scale requires reliable high-speed networking that is only available in dedicated clusters. In contrast, many real-world applications, such as federated learning and cloud-based distributed training, operate on unreliable devices with unstable network bandwidth. As a result, these applications are restricted to using parameter servers or gossip-based averaging protocols. In this work, we lift that restriction by proposing Moshpit All-Reduce - an iterative averaging protocol that exponentially converges to the global average. We demonstrate the efficiency of our protocol for distributed optimization with strong theoretical guarantees. The experiments show 1.3x speedup for ResNet-50 training on ImageNet compared to competitive gossip-based strategies and 1.5x speedup when training ALBERT-large from scratch using preemptible compute nodes.

研究の動機と目的

• 分散学習やクラウドベースの分散学習のような、信頼性が低く、異種的で通信制約のある環境における、中央集権的All-Reduceプロトコルの限界を解消すること。
• 従来のAll-Reduceのスケーラビリティとフェイルセーフの限界を克服し、固定の通信グラフに依存せずに分散型で動的勾配平均化を可能にする。
• 変動するネットワーク遅延、帯域幅、ノード障害の下でも、通信効率と指数的収束速度を維持するプロトコルを設計すること。
• Moshpit All-Reduceを用いた分散学習が、実世界の信頼性の低いハードウェア環境において、中央集権的およびgossipベースの手法と同等またはそれ以上の性能を達成できることを示すこと。

提案手法

• Moshpit All-Reduceは、分散型マッチメイキングアルゴリズムを用いて動的にピアグループを形成し、中央管理者がいなくてもAll-Reduce風の平均化を効率的に行える。
• 動的に形成されたグループ内での反復的平均化を採用しており、ネットワークトポロジーやサイズにかかわらず、グローバル平均への指数的収束を保証する。
• ノードの可用性やネットワーク状態に適応するランダム化されたグループ形成戦略を活用し、通信オーバーヘッドを最小限に抑えつつ収束保証を維持する。
• Moshpit SGDとして、実際の仮定のもとで反復複雑度が中央集権的SGDと同等となるように、完全な学習パイプラインに統合された。
• ノード障害や変動するネットワーク遅延に強く、プリエンプティブクラウドインスタンスやフェデレーテッドラーニング環境に適している。
• 理論的分析により、ネットワーク構造に依存しない指数的収束レートが示され、グローバル最適解への収束について明確な保証が得られた。

実験結果

リサーチクエスチョン

• RQ1 固定の通信グラフや中央集権的制御に依存せずに、分散型平均化プロトコルがグローバル平均勾配への指数的収束を達成できるか。
• RQ2 変動するネットワーク遅延やノード障害の下で、Moshpit All-Reduceの性能はgossipベースおよび中央集権的All-Reduceプロトコルと比べてどうなるか。
• RQ3 Moshpit SGDは、プリエンプティブクラウドVMやフェデレーテッドデバイスのような異種的かつ信頼性の低いハードウェア上で、学習速度をどの程度向上できるか。
• RQ4 実際の非理想な学習環境において、Moshpit SGDは中央集権的SGDと同等の収束保証を維持できるか。

主な発見

• Moshpit All-Reduceは、ネットワークトポロジーやサイズに依存しない指数的収束を達成し、グローバル平均勾配への収束を実現した。
• ImageNet上のResNet-50学習では、競合するgossipベースの分散学習戦略と比較して1.3倍の高速化を達成した。
• プリエンプティブクラウドVM上でALBERT-largeを学習した場合、ベースラインのgossipベース手法と比較して1.5倍の高速化を達成した。
• 平均精度実験では、障害なしの1024ワーカー環境でわずか2.0反復で1e-9の誤差に到達し、他のすべての手法を上回った。
• 高い障害率（最大1%）の下でも、収束時間はgossipおよびAll-Reduceベースラインと比較してやや増加するにとどまり、プロトコルは高い耐障害性を示した。
• 1台の8GPUサーバー上では、TCPベースの通信による影響でAR-SGDより25%遅くなったが、その性能差は分散性と耐障害性の利点を考慮すれば妥当であると考えられた。