[論文レビュー] Stagewise Enlargement of Batch Size for SGD-based Learning

Shen-Yi Zhao, Yin-Peng Xie+1 more|arXiv (Cornell University)|Feb 26, 2020

Machine Learning and Algorithms参考文献 27被引用数 4

ひとこと要約

本稿では、SGDベースの学習において段階ごとに幾何級数的にバッチサイズを拡大する手法であるStagewise Enlargement of Batch Size（SEBS）を提案する。SEBSは、テスト精度を損なわずにパラメータ更新回数を最大64%削減し、CIFAR-10およびImageNetにおいて、古典的な段階的SGDおよび大規模バッチサイズベースラインを上回る性能を発揮する。

ABSTRACT

Existing research shows that the batch size can seriously affect the performance of stochastic gradient descent~(SGD) based learning, including training speed and generalization ability. A larger batch size typically results in less parameter updates. In distributed training, a larger batch size also results in less frequent communication. However, a larger batch size can make a generalization gap more easily. Hence, how to set a proper batch size for SGD has recently attracted much attention. Although some methods about setting batch size have been proposed, the batch size problem has still not been well solved. In this paper, we first provide theory to show that a proper batch size is related to the gap between initialization and optimum of the model parameter. Then based on this theory, we propose a novel method, called \underline{s}tagewise \underline{e}nlargement of \underline{b}atch \underline{s}ize~(\mbox{SEBS}), to set proper batch size for SGD. More specifically, \mbox{SEBS} adopts a multi-stage scheme, and enlarges the batch size geometrically by stage. We theoretically prove that, compared to classical stagewise SGD which decreases learning rate by stage, \mbox{SEBS} can reduce the number of parameter updates without increasing generalization error. SEBS is suitable for \mbox{SGD}, momentum \mbox{SGD} and AdaGrad. Empirical results on real data successfully verify the theories of \mbox{SEBS}. Furthermore, empirical results also show that SEBS can outperform other baselines.

研究の動機と目的

• 訓練速度と一般化性能のバランスを取るために最適なバッチサイズを選択する課題に対処する。
• 理論的保証のない固定バッチサイズ手法や動的バッチサイズ戦略の限界を克服する。
• 深層学習の訓練において、一般化性能を維持しつつパラメータ更新回数を削減する手法を開発する。
• モデルパラメータの初期化から最適解までのギャップに基づくバッチサイズスケーリングの理論的裏付けを提供する。
• SGD、モーメンタムSGD、AdaGradと互換性のある汎用フレームワークを設計する。

提案手法

• 各段階でバッチサイズを比ρで幾何級数的に増加させるマルチステージ訓練方式を提案する。
• モデル初期化と最適パラメータのギャップにバッチサイズスケーリングを理論的に結びつけ、一般化誤差の増加なしに収束を保証する。
• 各段階で一定の学習率を維持するが、古典的な段階的SGDとは異なり、学習率を段階的に低下させない。
• 収束と一般化安定性を保証するための条件η_s / b_s = O(ε_s)を導出する。
• 標準的な最適化手法であるSGD、モーメンタムSGD（mSGD）、AdaGradにこの手法を適用し、広範な適用可能性を示す。
• 特定のエポック（例：80, 120）で段階遷移を行うようにSEBSを実装し、計算効率とモデル性能のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 幾何的増加バッチサイズ戦略は、一般化性能を劣化させることなくパラメータ更新回数を削減できるか？
• RQ2 バッチサイズスケーリング比が深層ニューラルネットワーク訓練における収束性とテスト精度に与える影響は何か？
• RQ3 段階的バッチサイズ拡大戦略は、学習率を段階的に低下させる古典的な段階的SGDを上回れるか？
• RQ4 SEBSは、大量のハイパーパrameterチューニングを要する大規模バッチサイズ訓練手法と比較しても一般化性能を維持できるか？
• RQ5 提案手法は、SGD、モーメンタムSGD、AdaGradといった異なる最適化アルゴリズムに普遍的に適用可能か？

主な発見

• ImageNet（ResNet50）において、SEBSは古典的なmSGDと比較してパラメータ更新回数を64%削減し、テスト精度75.87%を維持した。
• ResNet20を用いたCIFAR-10では、SEBS（ρ=12）によりパラメータ更新回数を古典的な段階的手法の62.5k回から32.6k回に削減し、同等のテスト精度を達成した。
• SEBSは、1エポックごとにバッチサイズを増加させるDB-SGDを上回り、一般化性能が劣る。
• mSEBSはCIFAR-10で160k回のパラメータ更新で91.74%のテスト精度を達成し、LARS（90.97%）を上回ったが、更新回数は少ない。
• Smithら（2018）が提案した手法はバッチサイズを急速にスケーリングするが、ResNet50では73.44%の精度に低下する一方、mSEBSは75.87%の精度を維持した。
• 実験結果から、SEBSはρ=12などの大きなバッチサイズスケーリング比であっても、一般化性能を維持することが確認された。これは、先行する動的バッチサイズ手法とは対照的である。