[論文レビュー] Semi-Dynamic Load Balancing: Efficient Distributed Learning in Non-Dedicated Environments

Chen Chen, Qizhen Weng+3 more|arXiv (Cornell University)|Jun 7, 2018

Stochastic Gradient Optimization Techniques参考文献 68被引用数 4

ひとこと要約

本稿では、リアルタイムでのワーカーのパフォーマンスに基づいてイテレーション境界でバッチサイズを調整することにより、分散機械学習における遅延ワーカー（straggler）の影響を軽減する半動的負荷分散フレームワークLB-BSPを提案する。CPUクラスタではNARXに基づく予測を、GPUクラスタでは適応的バッチサイズ設定を用いることで、非専用環境において効率的で侵入性のない負荷分散を実現し、最大54%の高速化を達成する。

ABSTRACT

Machine learning (ML) models are increasingly trained in clusters with non-dedicated workers possessing heterogeneous resources. In such scenarios, model training efficiency can be negatively affected by stragglers -- workers that run much slower than others. Efficient model training requires eliminating such stragglers, yet for modern ML workloads, existing load balancing strategies are inefficient and even infeasible. In this paper, we propose a novel strategy called semi-dynamic load balancing to eliminate stragglers of distributed ML workloads. The key insight is that ML workers shall be load-balanced at iteration boundaries, being non-intrusive to intra-iteration execution. We develop LB-BSP based on such an insight, which is an integrated worker coordination mechanism that adapts workers' load to their instantaneous processing capabilities by right-sizing the sample batches at the synchronization barriers. We have custom-designed the batch sizing algorithm respectively for CPU and GPU clusters based on their own characteristics. LB-BSP has been implemented as a Python module for ML frameworks like TensorFlow and PyTorch. Our EC2 deployment confirms that LB-BSP is practical, effective and light-weight, and is able to accelerating distributed training by up to $54\%$.

研究の動機と目的

• リソース利用状況が変動する非専用かつ非均質なクラスタ上で、分散機械学習トレーニングにおける遅延ワーカー問題に対処すること。
• 反復的かつテンソルベースのMLワークロードにおいて、静的および動的負荷分散の非効率性を回避する負荷分散戦略を設計すること。
• イテレーション境界でのみ調整を行うことで、インラインターレーション実行効率を保ちながら、効率的で侵入性のない負荷分散を可能にすること。
• リアルタイム処理能力予測に基づいて、CPUおよびGPUクラスタ向けのプラットフォーム固有のバッチサイズ設定戦略を開発すること。
• LB-BSPが実世界のクラウド環境（例：Amazon EC2）における実用性、有効性、および低オーバーヘッドを評価すること。

提案手法

• LB-BSPは、バッチ同期型並列（BSP）モデルに統合され、同期バリアで負荷分散が行われ、各ワーカーの処理時間を均等化するためにバッチサイズを調整する。
• CPUクラスタでは、リアルタイムのCPUおよびメモリリソースメトリクスを用いて、NARX再帰ニューラルネットワークがワーカーの処理速度を予測し、バッチ処理時間を推定する。
• 各ワーカーのバッチサイズは、イテレーション開始時に予測された処理能力に基づき動的に設定され、ワーカー間での負荷をバランスさせる。
• GPUクラスタでは、GPUメモリおよびコンピューティングスループットの特性を考慮した別個のバッチサイズ設定アルゴリズムが設計されている。
• ランタイムオーバーヘッドを最小限に抑えるために、BatchSizeManagerとワーカー間で非ブロッキングRPC通信が使用されている。
• パフォーマンス監視は実行ログ（例：TensorFlow Timelineオブジェクト）を用いて行われ、トレーニングスループットへの影響は最小限である。

実験結果

リサーチクエスチョン

• RQ1 インラインターレーション実行を損なわずに、分散MLトレーニングにおいて効率的な負荷分散を実現する方法は何か？
• RQ2 動的で非専用な環境において、ワーカーの処理能力を予測する最も効果的な方法は何か？
• RQ3 バッチサイズ調整に基づく半動的負荷分散は、MLワークロードにおいて従来の静的および動的負荷分散を上回る性能を発揮できるか？
• RQ4 LB-BSPはCPUおよびGPUクラスタにおいて、トレーニングの高速化とシステムオーバーヘッドの両面でどのように性能を発揮するか？
• RQ5 予測精度のばらつきが、非均質的かつ共有型環境における全体のトレーニング効率に与える影響は何か？

主な発見

• LB-BSPは、非専用クラスタにおける遅延ワーカーを効果的に排除することで、Amazon EC2環境での展開で最大54%の高速化を達成した。
• NARXベースの予測モデルは、EMAやARIMAといったベースライン手法と比較してRMSEを40%低減し、より正確なバッチサイズ設定を可能にした。
• 96ワーカーを含むクラスタですら、LB-BSPによるオーバーヘッドは合計イテレーション時間の1.1%未満にとどまり、軽量性が裏付けられた。
• フレームワークはCPUおよびGPUクラスタの両方で高いパフォーマンスを維持しており、それぞれのプラットフォームに特化したバッチサイズ戦略が採用されている。
• NARXが一時的なスパイクを抑制しながらも、決定論的なパフォーマンス向上を追跡できることから、予測の頑健性が実証された。
• LB-BSPは、テンソルベースの処理と互換性のないワークステアルやランタイム移行を回避することで、既存の負荷分散手法を上回る性能を発揮した。