[論文レビュー] Dynamic Mini-batch SGD for Elastic Distributed Training: Learning in the Limbo of Resources

Haibin Lin, Hang Zhang+5 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Neural Network Applications参考文献 44被引用数 14

ひとこと要約

本稿では、GPU数が動的に変化する状況下でも最適化を安定化させるために、学習率を滑らかに調整するDynamic SGDを提案する。ミニバッチサイズの変動に起因する確率的モーメンタム推定のノイズを補償することで、画像分類、物体検出、セマンティックセグメンテーションの各タスクにおいて、静的学習と同等の訓練安定性とモデル精度を達成している。GPU数を8から128にスケールアップしても同様に有効である。

ABSTRACT

With an increasing demand for training powers for deep learning algorithms and the rapid growth of computation resources in data centers, it is desirable to dynamically schedule different distributed deep learning tasks to maximize resource utilization and reduce cost. In this process, different tasks may receive varying numbers of machines at different time, a setting we call elastic distributed training. Despite the recent successes in large mini-batch distributed training, these methods are rarely tested in elastic distributed training environments and suffer degraded performance in our experiments, when we adjust the learning rate linearly immediately with respect to the batch size. One difficulty we observe is that the noise in the stochastic momentum estimation is accumulated over time and will have delayed effects when the batch size changes. We therefore propose to smoothly adjust the learning rate over time to alleviate the influence of the noisy momentum estimation. Our experiments on image classification, object detection and semantic segmentation have demonstrated that our proposed Dynamic SGD method achieves stabilized performance when varying the number of GPUs from 8 to 128. We also provide theoretical understanding on the optimality of linear learning rate scheduling and the effects of stochastic momentum.

研究の動機と目的

• 学習リソース（GPU）が学習中に動的に割り当てられたり解放されたりする状況下で、深層学習の最適化が不安定になる問題に対処すること。
• 動的環境では、ミニバッチサイズの変動に起因するモーメンタム推定のノイズを考慮していないため、線形学習率スケーリングが失敗することを特定すること。
• 動的リソース割り当て下で、時間とともに学習率をより滑らかに適応させることで、訓練を安定化する手法を開発すること。
• 画像分類、物体検出、セマンティックセグメンテーションを含む多様なコンピュータビジョンタスクにおいて、提案手法の実証的検証を実施すること。
• 動的学習設定における線形学習率スケジューリングの最適性と、確率的モーメンタムの影響について理論的洞察を提供すること。

提案手法

• 動的バッチサイズ変更に伴うモーメンタム推定におけるノイズ蓄積を補償するため、時間とともに学習率を段階的に調整する学習率適応戦略「Dynamic SGD」を提案する。
• 従来の線形スケーリングとは異なり、ミニバッチサイズに反比例するモーメンタムノイズを考慮した滑らかで非線形な学習率スケジュールを導入する。
• 学習率を現在のGPU数とバッチサイズ変更の履歴に基づいて制御する、同期型確率的勾配降下法（SGD）にモーメンタムを組み合わせた手法を採用する。
• 実際の弾力的学習環境を再現するため、数エポックごとにGPU数を変更する動的スケジューリングポリシー（例：5エポックごとに）を適用する。
• ResNet-50、MobileNet、InceptionV3、SSD、FCNなどの標準的な深層学習モデルに適用し、同期バッチ正規化とコサインスケジューリングを併用する。
• 理論的分析により、線形学習率スケジューリングの最適性が裏付けられ、動的設定下でのモーメンタムノイズが不安定化を引き起こすメカニズムが解明される。

実験結果

リサーチクエスチョン

• RQ1 GPU数が動的に変化する弾力的分散学習環境において、なぜ線形学習率スケーリングが失敗するのか？
• RQ2 ミニバッチサイズが動的に変化する際、確率的モーメンタム推定のノイズがモデル収束にどのように影響を与えるか？
• RQ3 滑らかで時間依存の学習率調整によって、弾力的分散環境下での訓練を安定化させられるか？
• RQ4 Dynamic SGDは、多様な視覚タスクにおいて、静的学習と同等のモデル精度をどの程度達成できるか？
• RQ5 8から128 GPUのさまざまなGPUスケール下で、線形スケーリングや静的ベースラインと比較して、本手法はどのように性能を発揮するか？

主な発見

• Dynamic SGDは、すべての評価タスクにおいて1×ミニバッチサイズ（例：1K）の静的学習と同等のモデル精度を達成しており、128 GPUにスケールアップしても同様に有効である。
• ImageNetでは、8から128 GPUにスケールアップした場合、Dynamic SGDは静的ベースライン（30.1% mAP）と比較してトップ1精度が0.1%以内に収まり、線形スケーリングに比べて著しく劣化を抑える。
• MS-COCOでは、12×スケールで30.1 mAP、16×スケールで29.6 mAPを達成し、線形スケーリング（16×スケールで20.2 mAP）を上回る性能を示した。
• セマンティックセグメンテーションのADE20Kでは、12×スケールで79.07% pixAccと39.34% mIoUを達成し、静的ベースライン（78.99% pixAcc、39.48% mIoU）と同等の性能を発揮するとともに、線形スケーリングを上回った。
• 特に、同期バッチ正規化を採用したFCNベースのモデルにおいて、大規模ミニバッチに対するバッチ正規化統計の補正が行われない状況でも、訓練が安定化することが確認された。
• 理論的分析により、モーメンタムノイズがミニバッチサイズに反比例して変化することが確認され、動的環境下では非線形な学習率適応の必要性が裏付けられた。