[論文レビュー] Heterogeneity-Aware Asynchronous Decentralized Training

Qinyi Luo, Jiaao He+2 more|arXiv (Cornell University)|Sep 17, 2019

Stochastic Gradient Optimization Techniques参考文献 50被引用数 8

ひとこと要約

Ripplesは、同期コストを低く抑えるPartial All-Reduceと、衝突を低減するグループスケジューリング技術（グループバッファ、グループ分割、静的/スマートスケジューリング）を組み合わせた、非均質性に配慮した非同期分散学習フレームワークである。均質的環境では最先端のAll-Reduceより1.1倍高速であり、非均質的環境ではAll-Reduceより2倍高速であり、非均質性耐性においてAD-PSGDを3倍上回る性能を発揮する。

ABSTRACT

Distributed deep learning training usually adopts All-Reduce as the synchronization mechanism for data parallel algorithms due to its high performance in homogeneous environment. However, its performance is bounded by the slowest worker among all workers, and is significantly slower in heterogeneous situations. AD-PSGD, a newly proposed synchronization method which provides numerically fast convergence and heterogeneity tolerance, suffers from deadlock issues and high synchronization overhead. Is it possible to get the best of both worlds - designing a distributed training method that has both high performance as All-Reduce in homogeneous environment and good heterogeneity tolerance as AD-PSGD? In this paper, we propose Ripples, a high-performance heterogeneity-aware asynchronous decentralized training approach. We achieve the above goal with intensive synchronization optimization, emphasizing the interplay between algorithm and system implementation. To reduce synchronization cost, we propose a novel communication primitive Partial All-Reduce that allows a large group of workers to synchronize quickly. To reduce synchronization conflict, we propose static group scheduling in homogeneous environment and simple techniques (Group Buffer and Group Division) to avoid conflicts with slightly reduced randomness. Our experiments show that in homogeneous environment, Ripples is 1.1 times faster than the state-of-the-art implementation of All-Reduce, 5.1 times faster than Parameter Server and 4.3 times faster than AD-PSGD. In a heterogeneous setting, Ripples shows 2 times speedup over All-Reduce, and still obtains 3 times speedup over the Parameter Server baseline.

研究の動機と目的

• 最遅者制限によるAll-Reduceの性能ボトル neck を、非均質な分散学習環境で解消すること。
• AD-PSGDにおけるデッドロックと高い同期オーバーヘッドを解消しつつ、非均質性耐性を維持すること。
• 均質的環境ではAll-Reduce並の性能を達成し、非均質的環境ではAD-PSGD並の耐性を示す分散学習システムを設計すること。
• アルゴリズム設計とシステムレベルの通信プリミティブの相互作用を最適化し、同期コストと衝突を最小限に抑えること。

提案手法

• 通信量を削減することで、大規模なワーカー群間での高速同期を可能にする、新しい通信プリミティブ「Partial All-Reduce」を導入する。
• 均質的環境ではランダム性を低減し、同期衝突を最小限に抑えるために静的グループスケジューリングを実装する。
• 最小限のランダム性の損失で済ませながら、非同期分散学習における衝突確率を低減するための「グループバッファ」と「グループ分割」技術を提案する。
• 非均質的環境では、統計的効率と実行速度のバランスを取るために、ランダムなグループ選択（random GG）とスマートグループスケジューリング（smart GG）を用いる。
• 衝突回避と組み合わせたアトミック更新プロトコルを統合し、数値安定性を保ちながらスループットを向上させる。
• 柔軟な通信グラフ、スぺクトルギャップ、二重確率的平均化の性質を備えた分散学習システムを設計し、堅牢でスケーラブルな学習を支援する。

実験結果

リサーチクエスチョン

• RQ1 非均質的環境でもAD-PSGD並の非均質性耐性を維持しつつ、均質的環境でAll-Reduce並の性能を達成できる分散学習システムは構築可能か？
• RQ2 収束安定性を損なわず、大規模な分散学習における同期コストをどのように最小化できるか？
• RQ3 グループ選択のランダム性と同期衝突の間にはどのようなトレードオフがあり、どのように最適化できるか？
• RQ4 非均質なワーカー環境において、衝突回避技術はどの程度性能向上に寄与するか？

主な発見

• 均質的環境では、Ripplesは最先端のAll-Reduce実装より1.1倍高速であり、パラメータサーバー（Parameter Server）より5.1倍、AD-PSGDより4.3倍高速である。
• 1人のワーカーが2倍遅延する非均質的環境では、RipplesはAll-Reduceより2倍高速であり、パラメータサーバー（Parameter Server）より3倍高速である。
• 5倍の遅延が発生する状況でも、RipplesはAll-Reduceより5.01倍高速、AD-PSGDより4.23倍高速を維持し、強力な非均質性耐性を示している。
• スマートグループスケジューリングを用いたRipplesは、同期オーバーヘッドの低減とより優れた衝突管理により、AD-PSGDを5.26倍速く実行する。
• ImageNetのResNet-50を用いた実験では、Ripplesがスマートグループスケジューリングを採用した場合、10時間でトップ-1正解率64.21％を達成し、AD-PSGD（58.28％）を上回り、反復回数が多くてもAll-Reduce（66.83％）に近い収束速度を示した。
• Ripplesの性能向上は、1反復あたりの同期コストをAD-PSGDより5.10倍速くすることで得られており、反復回数はわずかに増加（0.96× vs. 0.78×）しているが、効率性と統計的収束性の間で効果的なトレードオフが実現されている。