[論文レビュー] Revisiting Distributed Synchronous SGD

Pan, Xinghao, Jianmin Chen+3 more|arXiv (Cornell University)|Feb 19, 2017

Distributed and Parallel Computing Systems参考文献 27被引用数 609

ひとこと要約

本論文は、同期SGDが実用的でないという見方に挑戦し、バックアップワーカーを用いた同期最適化が非同期ノイズを回避し、スロースターターを緩和できることを示し、収束を速め、テスト精度を向上させる。

ABSTRACT

Distributed training of deep learning models on large-scale training data is typically conducted with asynchronous stochastic optimization to maximize the rate of updates, at the cost of additional noise introduced from asynchrony. In contrast, the synchronous approach is often thought to be impractical due to idle time wasted on waiting for straggling workers. We revisit these conventional beliefs in this paper, and examine the weaknesses of both approaches. We demonstrate that a third approach, synchronous optimization with backup workers, can avoid asynchronous noise while mitigating for the worst stragglers. Our approach is empirically validated and shown to converge faster and to better test accuracies.

研究の動機と目的

• 分散トレーニングにおける同期SGDの実用性を再評価する。
• 非同期および同期アプローチの弱点を特定する。
• バックアップ-wroker 同期最適化アプローチを提案し、アイドル時間とスロー歩みの影響を低減する。
• 提案手法の経験的な収束速度と精度の利点を示す。

提案手法

• 純粋な非同期および標準的な同期スキームの代替として、バックアップワーカーを用いた同期最適化を導入する。
• バックアップワーカーがアイドルタイムを削減し、過度なノイズを導入せずにスロースターラーを緩和する方法を分析する。
• より高速な収束と改善されたテスト精度を示す経験的検証を提供する。

実験結果

リサーチクエスチョン

• RQ1 バックアップワーカーを用いることで、分散環境で同期SGDを実用的にできるか？
• RQ2 収束とテスト精度の観点から、バックアップワーカー同期最適化は非同期SGDとどう比較されるか？
• RQ3 これらのスキームにおけるアイドルタイム、スロースターラー、最適化ノイズのトレードオフは何か？
• RQ4 提案手法は代表的なディープラーニングトレーニングシナリオ全般でより速く収束するか？

主な発見

• バックアップワーカーを用いた同期最適化は非同期ノイズを回避できる。
• バックアップ-wroker アプローチはスロースターラーの影響を緩和する。
• 実践的には手法はより速く収束する。
• 経験的検証では手法がより良いテスト精度をもたらす。