[論文レビュー] Divide-and-Shuffle Synchronization for Distributed Machine Learning.

Weiyan Wang, Cengguang Zhang+4 more|arXiv (Cornell University)|Jul 7, 2020

Stochastic Gradient Optimization Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、分散機械学習における通信最適化として、分散パラメータの数を最小限に抑えるためにワーカーをグループ化し、グループ構成をシャッフルすることで同期オーバーヘッドを低減する、新しい手法であるDivide-and-Shuffle Synchronization (DS-Sync) を提案する。この手法は、BERT や WideResNet、DeepFM といったモデルにおいて、挑戦的なデータセット上で、収束速度を維持したまま、トレーニング効率を顕著に向上させる。

ABSTRACT

Distributed Machine Learning suffers from the bottleneck of synchronization to all-reduce workers' updates. Previous works mainly consider better network topology, gradient compression, or stale updates to speed up communication and relieve the bottleneck. However, all these works ignore the importance of reducing the scale of synchronized elements and inevitable serial executed operators. To address the problem, our work proposes the Divide-and-Shuffle Synchronization(DS-Sync), which divides workers into several parallel groups and shuffles group members. DS-Sync only synchronizes the workers in the same group so that the scale of a group is much smaller. The shuffle of workers maintains the algorithm's convergence speed, which is interpreted in theory. Comprehensive experiments also show the significant improvements in the latest and popular models like Bert, WideResnet, and DeepFM on challenging datasets.

研究の動機と目的

• すべてのワーカー間で全パラメータを同期することによって引き起こされる分散機械学習における通信ボトルネックを解消すること。
• 同期対象の要素のスケールを低減し、同期プロトコルにおける直列実行のオーバーヘッドを排除すること。
• 動的ワーカーグループ化を通じて通信コストを最小限に抑えつつ、アルゴリズムの収束速度を維持すること。
• 現代のディープラーニングモデルと互換性があり、実用的で効果的な同期メカニズムを設計すること。

提案手法

• 同期のたびに同期対象パラメータ数を減らすために、ワーカーを複数の並列グループに分割する。
• トレーニングの反復処理ごとにグループ構成を動的にシャッフルし、多様性を維持し、遅延の発生を防ぐ。
• 各グループ内でのみ同期を行うため、all-reduce 操作のサイズを著しく削減する。
• 理論的分析により、シャッフルが勾配分散の性質を維持することで収束速度が保たれることを示している。
• 既存のディープラーニングフレームワークと互換性があり、最小限の変更で実装可能である。

実験結果

リサーチクエスチョン

• RQ1 ワーカーのグループ化による同期パラメータ数の削減は、分散トレーニングにおける通信効率を向上させるか？
• RQ2 ワーカーのグループを動的にシャッフルすることは、分散最適化アルゴリズムの収束速度を維持できるか？
• RQ3 DS-Sync は多様なディープラーニングモデルとデータセットでどのように性能を発揮するか？
• RQ4 DS-Sync は、勾配圧縮や古くなった更新処理の取り扱いといった既存の通信最適化技術を上回る性能を示せるか？

主な発見

• DS-Sync は、all-reduce 操作をより小さな動的グループに限定することで、同期オーバーヘッドを顕著に低減する。
• 理論的分析により、完全同期と同等の収束速度を維持していることが検証された。
• 実験では、BERT、WideResNet、DeepFM において、挑戦的なデータセット上で一貫したトレーニング高速化が確認された。
• モデルアーキテクチャやハイパーパrameterの変更なしに、測定可能な性能向上が達成された。