[論文レビュー] Revisiting Small Batch Training for Deep Neural Networks

Dominic Masters, Carlo Luschi|arXiv (Cornell University)|Apr 20, 2018

Advanced Neural Network Applications参考文献 23被引用数 353

ひとこと要約

本論文は小さなミニバッチサイズ（2–32）がCIFAR-10/100およびImageNet全体でより良い汎化と安定した学習をもたらすことを示しており、非常に大きなバッチへ向かう潮流に対して挑戦となる。学習率スケーリング、BNの影響、ウォームアップ戦略を分析する。

ABSTRACT

Modern deep neural network training is typically based on mini-batch stochastic gradient optimization. While the use of large mini-batches increases the available computational parallelism, small batch training has been shown to provide improved generalization performance and allows a significantly smaller memory footprint, which might also be exploited to improve machine throughput. In this paper, we review common assumptions on learning rate scaling and training duration, as a basis for an experimental comparison of test performance for different mini-batch sizes. We adopt a learning rate that corresponds to a constant average weight update per gradient calculation (i.e., per unit cost of computation), and point out that this results in a variance of the weight updates that increases linearly with the mini-batch size $m$. The collected experimental results for the CIFAR-10, CIFAR-100 and ImageNet datasets show that increasing the mini-batch size progressively reduces the range of learning rates that provide stable convergence and acceptable test performance. On the other hand, small mini-batch sizes provide more up-to-date gradient calculations, which yields more stable and reliable training. The best performance has been consistently obtained for mini-batch sizes between $m = 2$ and $m = 32$, which contrasts with recent work advocating the use of mini-batch sizes in the thousands.

研究の動機と目的

• 深層ネットにおけるミニバッチサイズが汎化と収束に与える影響を評価する。
• 勾配あたりの更新コストを一定にした形式での学習率スケーリングを調査する。
• 異なるバッチサイズとBatch Normalizationの相互作用と、それが訓練の安定性に与える影響を評価する。
• 大バッチと小バッチのレジームにおける徐々のウォームアップが果たす役割を検討する。
• BNとSGDのバッチサイズが異なる可能性のある分散訓練に向けた指針を提供する。

提案手法

• ミニバッチ勾配の平均または総和を用いたSGD更新を用いて、学習率スケーリングを比較する。
• 複数のアーキテクチャに渡って、CIFAR-10、CIFAR-100、ImageNetで、異なるバッチサイズと基礎学習率を用いてCNNを経験的に訓練する。
• Batch Normalizationの有無およびデータ拡張を用いた場合の性能を評価する。
• 大バッチ訓練の不安定性を緩和するための徐々のウォームアップ戦略を検証する。
• BNとSGD更新で異なるバッチサイズを使用する効果を分析する。

実験結果

リサーチクエスチョン

• RQ1 勾配1回あたりの更新コストを一定にした場合、ミニバッチサイズは一般化性能と安定した収束にどのように影響するか？
• RQ2 小さなバッチサイズと大きなバッチサイズにおける訓練ダイナミクスと最終精度に対するBatch Normalizationの影響は何か？
• RQ3 多様なデータセットで大バッチサイズに伴う劣化を徐々のウォームアップ戦略は緩和するか？
• RQ4 CIFAR-10/100およびImageNet全体で、最良の精度と安定性を得る最適なバッチサイズレジーム（2–32）は何か？
• RQ5 BNのバッチサイズとSGDのバッチサイズを分離することは、分散訓練性能にどのように影響するか？

主な発見

• 検証されたアーキテクチャとデータセット全体で、最も良い汎化は一貫して2から32のミニバッチサイズで生じる。
• バッチサイズを大きくするほど、安定した収束と妥当なテスト性能をもたらす学習率の範囲が狭くなる。
• Batch Normalizationは収束とテスト精度を改善し、中程度のバッチサイズでの訓練を有効にする。ただし非常に小さなBNバッチは全結合層にとって問題になることがある。
• 徐々のウォームアップは大きなバッチ設定で安定した訓練を維持するのに役立つが、小さなバッチの性能優位性を完全には回復しない。
• ImageNetの結果は、16〜64のバッチサイズで最良の検証精度を示し、より大きなバッチは学習率の選択に対してより敏感である。