[論文レビュー] DBS: Dynamic Batch Size For Distributed Deep Neural Network Training

Qing Ye, Yuhao Zhou+3 more|arXiv (Cornell University)|Jul 23, 2020

Stochastic Gradient Optimization Techniques参考文献 37被引用数 6

ひとこと要約

本稿では、分散DNN学習におけるクラスタ利用効率を向上させるために、作業者ごとのパフォーランスに応じてバッチサイズとデータセットパーティションを動的に調整する、新しい戦略であるDynamic Batch Size (DBS) を提案する。パフォーランスに配慮した負荷分散により、アイドル時間を最小限に抑えることで、4作業者クラスタ上での学習時間を最大12%短縮し、バックグラウンドタスクなどのシステム的擾乱に対しても高いロバスト性を示す一方で、理論的保証のもとでS-SGDと同等の収束性を維持する。

ABSTRACT

Synchronous strategies with data parallelism, such as the Synchronous StochasticGradient Descent (S-SGD) and the model averaging methods, are widely utilizedin distributed training of Deep Neural Networks (DNNs), largely owing to itseasy implementation yet promising performance. Particularly, each worker ofthe cluster hosts a copy of the DNN and an evenly divided share of the datasetwith the fixed mini-batch size, to keep the training of DNNs convergence. In thestrategies, the workers with different computational capability, need to wait foreach other because of the synchronization and delays in network transmission,which will inevitably result in the high-performance workers wasting computation.Consequently, the utilization of the cluster is relatively low. To alleviate thisissue, we propose the Dynamic Batch Size (DBS) strategy for the distributedtraining of DNNs. Specifically, the performance of each worker is evaluatedfirst based on the fact in the previous epoch, and then the batch size and datasetpartition are dynamically adjusted in consideration of the current performanceof the worker, thereby improving the utilization of the cluster. To verify theeffectiveness of the proposed strategy, extensive experiments have been conducted,and the experimental results indicate that the proposed strategy can fully utilizethe performance of the cluster, reduce the training time, and have good robustnesswith disturbance by irrelevant tasks. Furthermore, rigorous theoretical analysis hasalso been provided to prove the convergence of the proposed strategy.

研究の動機と目的

• 作業者間のパフォーマンスの非均一性によって引き起こされる同期分散DNN学習の非効率性を解消すること。
• 作業者のパフォーマンスに基づいてバッチサイズとデータセットパーティションを動的に調整することで、アイドル時間を削減し、クラスタ利用効率を向上させること。
• システムレベルの擾乱（例：バックグラウンドタスク）に対してロバスト性を高めつつ、学習の収束性を維持すること。
• 固定バッチサイズの同期学習手法（例：S-SGD）の理論的裏付けのある実用的代替案を提供すること。

提案手法

• 各学習エポック終了時に、前回エポックのGPU時間とサブデータセットサイズを用いて作業者のパフォーランスを評価する。
• パフォーランス評価に基づき、次のエポックでバッチサイズとデータセットパーティションを動的に調整することで、計算負荷をバランスさせる。
• 同期学習フレームワーク内での運用を想定しており、収束保証を維持するとともに、待機時間のない運用を実現する。
• 繰り返し適用することで、学習プロセス全体にわたり負荷バランスを維持する。
• S-SGD やモデルアveraging といった既存の同期学習フレームワークと互換性を持たせ、最適化アルゴリズムの変更を必要としない。
• 提案された動的バッチサイズ戦略における収束性を理論的に証明する分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 作業者のパフォーマンスに基づく動的バッチサイズ調整は、分散DNN学習におけるアイドル時間の削減とクラスタ利用効率の向上を実現できるか？
• RQ2 固定バッチサイズの同期学習（例：S-SGD）と比較して、提案されたDBS戦略は学習時間と収束性においてどのように異なるか？
• RQ3 バックグラウンドタスクなどのシステム的擾乱下でも、DBSはどの程度の性能を維持できるか？
• RQ4 バッチサイズとデータパーティションの動的調整は、標準的な同期手法と比較してモデルの収束性を保持できるか？

主な発見

• DBSは、固定バッチサイズを用いたS-SGDと比較して、4作業者クラスタ上での学習時間を約12%短縮する。
• クラスタ規模が拡大するにつれて性能向上は減少し、8作業者クラスタでは10%に低下し、16作業者では同期と通信コストの増加によりさらに低下する。
• DBSは、GPUリソースの急増といったシステム的擾乱下でも負荷バランスを維持する：作業者の間で学習時間が素早く再びバランスを回復させる。
• 擾乱下において、DBSの全学習時間の増加はS-SGDと比べてはるかに小さいため、優れたロバスト性を示す。
• DBSの収束性はS-SGDとほぼ同等であり、動的バッチサイズが学習の安定性を損なわないことを確認した。
• 理論的分析により、動的バッチサイズを用いた同期学習の下で、DBS戦略が収束性を維持することが確認された。