[論文レビュー] Coupling Adaptive Batch Sizes with Learning Rates

Lukas Balles, Javier Romero+1 more|arXiv (Cornell University)|Dec 15, 2016

Stochastic Gradient Optimization Techniques参考文献 14被引用数 24

ひとこと要約

本論文は、リアルタイムの勾配分散推定に基づいて確率的勾配降下法におけるバッチサイズを動的に調整するとともに、それを学習率に直接結合するCABS（Coupled Adaptive Batch Sizes）を提案する。この手法により、減少する学習率スケジュールを必要とせず、最適化のばらつきを低減し、画像分類ベンチマークにおいて収束が速くなり、学習率ハイパーパrameterのチューニングへの感受性が低下する。

ABSTRACT

Mini-batch stochastic gradient descent and variants thereof have become standard for large-scale empirical risk minimization like the training of neural networks. These methods are usually used with a constant batch size chosen by simple empirical inspection. The batch size significantly influences the behavior of the stochastic optimization algorithm, though, since it determines the variance of the gradient estimates. This variance also changes over the optimization process; when using a constant batch size, stability and convergence is thus often enforced by means of a (manually tuned) decreasing learning rate schedule. We propose a practical method for dynamic batch size adaptation. It estimates the variance of the stochastic gradients and adapts the batch size to decrease the variance proportionally to the value of the objective function, removing the need for the aforementioned learning rate decrease. In contrast to recent related work, our algorithm couples the batch size to the learning rate, directly reflecting the known relationship between the two. On popular image classification benchmarks, our batch size adaptation yields faster optimization convergence, while simultaneously simplifying learning rate tuning. A TensorFlow implementation is available.

研究の動機と目的

• 確率的勾配降下法における最適化の安定性と効率のバランスを取るために、バッチサイズを動的に調整すること。
• 勾配分散を介して学習率とバッチサイズを結合することにより、減少する学習率スケジュールの手動チューニングの必要性を排除すること。
• 学習率の選択に対する感受性を低めることで、深層学習におけるハイパーパrameterチューニングを簡素化すること。
• 標準ベンチマーク上で一般化性能を維持または向上させつつ、トレーニングの収束速度を向上させること。

提案手法

• CABSは、小さなミニバッチを用いて勾配共分散行列の対角成分（各パラメータごとの分散）を推定し、真の勾配分散を近似する。
• 理論的な関係に基づき、現在の目的関数値と学習率に比例してバッチサイズを動的に増加させる。この関係は、分散、学習率、収束の間の理論的関係に基づく。
• 各ステップで期待される進捗量を単位コストあたり最大化する最適なバッチサイズを閉形式で求める。
• 勾配推定のノイズレベルが学習率に比例するように、学習率とバッチサイズを結合することで最適化を安定化させる。
• アルゴリズムはTensorFlowで実装されており、初期学習率以外の追加ハイパーパrameterは不要である。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムの勾配分散推定に基づく動的バッチサイズ適応は、深層学習における最適化収束を改善できるか？
• RQ2 バッチサイズを学習率に結合することで、減少する学習率スケジュールの必要性がなくなるか？
• RQ3 CABSは、学習率の選択に対するトレーニング性能の感受性を低減できるか？
• RQ4 収束速度と最終的な正確性の観点から、CABSは固定バッチサイズおよび他の適応的バッチサイズ戦略と比べてどうか？

主な発見

• CABSは、MNIST、SVHN、CIFAR-10、CIFAR-100ベンチマークにおいて、定数バッチサイズ手法よりも速い最適化収束を達成する。
• この手法は、学習率ハイパーパrameterチューニングへの依存度を顕著に低減し、学習率感受性の実験において、定数および他の競合する適応的バッチサイズ方式を上回る性能を示す。
• 4つのベンチマークすべてにおいて、CABSは平均バッチサイズが小さいにもかかわらず、非適応的で大きなバッチサイズ（例：128、512）を上回るトレーニング速度を達成する。
• CABSは、トレーニングの大部分で最小バッチサイズ（16）を用い、問題の複雑さに応じて概ね線形に増加させる。
• CABSは、すべてのベースラインと同等のテスト精度を達成しながら、手動による学習率チューニングの必要性を低減する。