[論文レビュー] Straggler-Resilient Distributed Machine Learning with Dynamic Backup Workers

Guojun Xiong, Gang Yan+2 more|arXiv (Cornell University)|Feb 11, 2021

Stochastic Gradient Optimization Techniques参考文献 49被引用数 10

ひとこと要約

本稿では、パラメータ更新に最も速いネイバーのみを動的に選択することで、スラッガー効果を軽減する、コンSENSUSベースの分散機械学習における動的バックアップワーカー（DyBW）戦略を提案する。cb-DyBWアルゴリズムは、収束における線形スループットを達成し、全参加方式と比較して反復時間の長さを65–70％短縮する。MNISTおよびCIFAR-10データセットにおいて、収束精度を損なわずに学習時間を著しく短縮する。

ABSTRACT

With the increasing demand for large-scale training of machine learning models, consensus-based distributed optimization methods have recently been advocated as alternatives to the popular parameter server framework. In this paradigm, each worker maintains a local estimate of the optimal parameter vector, and iteratively updates it by waiting and averaging all estimates obtained from its neighbors, and then corrects it on the basis of its local dataset. However, the synchronization phase can be time consuming due to the need to wait for extit{stragglers}, i.e., slower workers. An efficient way to mitigate this effect is to let each worker wait only for updates from the fastest neighbors before updating its local parameter. The remaining neighbors are called extit{backup workers.} To minimize the globally training time over the network, we propose a fully distributed algorithm to dynamically determine the number of backup workers for each worker. We show that our algorithm achieves a linear speedup for convergence (i.e., convergence performance increases linearly with respect to the number of workers). We conduct extensive experiments on MNIST and CIFAR-10 to verify our theoretical results.

研究の動機と目的

• 分散機械学習におけるスラッガー（遅延するワーカー）による性能ボトルネックを解消すること。特に、ノード間の同期を遅らせる要因となる。
• 収束反復回数を増加させることなく、コンセンサスベース分散最適化における反復時間の短縮を図ること。
• リアルタイムでのワーカー性能に応じて動的にバックアップワーカーを選択する、完全に分散化されたメカニズムの開発。
• 動的バックアップ選択が線形スループットを達成できることを理論的および実験的に検証すること。

提案手法

• 各ワーカーが、自身のパラメータを更新する前に、最も速いp_j個のネイバーからの更新を待つ、動的バックアップワーカー（DyBW）を含むコンセンサスベース分散最適化問題を定式化する。
• リアルタイム通信遅延に基づいて、各ノードごとのバックアップワーカー数を動的に調整する完全分散型手法であるcb-DyBWアルゴリズムを提案する。
• 観測された更新時間に基づき、最適なバックアップワーカー数を決定するためのしきい値ベースの更新ルール（アルゴリズム2）を導入する。
• エッジがネイバー間の依存関係を表す時間変動型コンセンサスグラフを採用し、訓練の安定化のための適応的学習率η(k) = η₀·δᵏを用いる。
• NFSおよびMPIバックエンドを用いてTensorFlowで実装し、分散環境下でのファイル共有およびワーカー間通信を可能にする。
• 入力次元の低減のため主成分分析（PCA）を適用し、効率的な学習のためバッチサイズを1,024に設定する。

実験結果

リサーチクエスチョン

• RQ1 動的バックアップワーカー選択は、収束反復回数を増加させることなく、分散機械学習における反復時間の短縮を顕著に実現できるか？
• RQ2 提案された動的バックアップ戦略は、全参加方式のコンセンサス手法と比較して、収束速度において線形スループットを達成できるか？
• RQ3 バックアップワーカーの数は時間経過とともにどのように変化するか？また、リアルタイムでのワーカー性能に基づいて適応的に制御可能か？
• RQ4 動的バックアップ選択は、MNISTやCIFAR-10などの実世界データセットにおける収束精度とウォールクロック時間にどのような影響を与えるか？

主な発見

• cb-DyBWアルゴリズムは、Kが十分に大きい場合にO(1/√(NK) + 1/K)の収束レートを達成し、全参加方式と同等の線形スループットを示す。
• cb-DyBWは、cb-Full（全参加）と比較して平均反復時間を65–70％短縮し、総学習時間を顕著に削減する。
• cb-DyBWとcb-Fullの収束までの反復回数は、オーダーの大きさにおいて類似しており、動的バックアップ選択が収束品質に悪影響を及げないことを確認する。
• 動的バックアップワーカーの数は時間経過とともに変動し、リアルタイムでのワーカー性能に適応可能な、提案されたしきい値ベースのルールの有効性が裏付けられる。
• MNISTおよびCIFAR-10における実験結果から、cb-DyBWはcb-Fullと同等のテスト誤差と訓練損失を達成する一方で、ウォールクロック時間を著しく短縮する。
• 非i.i.d.なデータ分布を想定しても、フレームワークは一貫性と収束性を維持し、現実的な設定における耐障害性を示す。