[論文レビュー] Big Batch SGD: Automated Inference using Adaptive Batch Sizes

Soham De, Abhay Kumar Yadav+2 more|arXiv (Cornell University)|Oct 18, 2016

Stochastic Gradient Optimization Techniques参考文献 23被引用数 39

ひとこと要約

本稿では、勾配推定における信号対ノイズ比を一定に保つために、時間の経過とともにバッチサイズを動的に増加させる適応的最適化手法Big Batch SGDを提案する。勾配品質の安定化により、一定または自動調整されたステップサイズが可能となり、手動での学習率スケジューリングの必要性が排除され、最小限のハイパーパrameterチューニングでチューニング済みSGDと同等の性能を達成する。

ABSTRACT

Classical stochastic gradient methods for optimization rely on noisy gradient approximations that become progressively less accurate as iterates approach a solution. The large noise and small signal in the resulting gradients makes it difficult to use them for adaptive stepsize selection and automatic stopping. We propose alternative "big batch" SGD schemes that adaptively grow the batch size over time to maintain a nearly constant signal-to-noise ratio in the gradient approximation. The resulting methods have similar convergence rates to classical SGD, and do not require convexity of the objective. The high fidelity gradients enable automated learning rate selection and do not require stepsize decay. Big batch methods are thus easily automated and can run with little or no oversight.

研究の動機と目的

• 古典的確率的最急降下法（SGD）におけるノイズの多い勾配推定の課題に取り組むこと、特に反復が収束に近づく際の課題を対象とする。
• 適応的バッチサイズによる信号対ノイズ比の安定化を通じて、SGDにおける手動による学習率スケジューリングの必要性を排除すること。
• 成長するバッチからの高精度な勾配を活用することで、最小限のユーザーの監視で完全に自動化された最適化を実現すること。
• 専門家がチューニングしたハイパーパrameterを必要とせずに、非凸問題（例えば深層ニューラルネットワーク）における収束性と一般化性能を向上させること。

提案手法

• 勾配推定における信号対ノイズ比をほぼ一定に保つために、時間の経過とともにバッチサイズを適応的に増加させる。
• 消えるステップサイズスケジュールを必要とせず、一定ステップサイズまたは自動バックトラッキングラインサーチを用いる。
• 低分散勾配を活用して高速収束を実現する、Barzilai-Borwein曲率に基づく適応的ステップサイズ手法を採用する。
• 目的関数の凸性を仮定せずとも収束保証を維持する。
• 解に近づく際に近似勾配が消えることから、Polyak-Łojasiewicz不等式を満たす問題では自動停止基準を可能にする。
• より正確な大規模バッチ勾配を用いることで、高次の手法（例：L-BFGS）の計算オーバーヘッドを相殺する。

実験結果

リサーチクエスチョン

• RQ1 適応的バッチサイズの増加は、SGDにおける勾配推定の安定化と、一定または自動調整されたステップサイズの実現を可能にするか？
• RQ2 勾配における信号対ノイズ比を一定に保つことで、非凸最適化における収束性の向上と一般化性能の向上が達成されるか？
• RQ3 Big Batch SGDは、手動による学習率チューニングの必要性を排除しつつ、チューニング済みSGDと同等またはそれ以上の性能を達成できるか？
• RQ4 Big Batch SGDは、深層学習ベンチマークにおいてAdadelta や L-BFGS といった適応的手法と比較してどのように性能を発揮するか？
• RQ5 大規模バッチからの高精度な勾配は、最適化における自動停止基準を支援できるか？

主な発見

• バックトラッキングラインサーチを用いたBig Batch SGDは、CIFAR-10、SVHN、MNISTの各データセットで、固定ステップサイズSGDおよびAdadeltaを上回り、ハイパーパrameterチューニングなしで同等または優れたテスト精度を達成した。
• 本手法は、学習率スケジュールの広範なグリッドサーチを必要とせず、きめ細やかにチューニングされたSGDと同等の性能を達成した。
• Big Batch AdaDeltaは、大規模データセット（CIFAR-10およびSVHN）において標準Adadeltaを上回ったが、MNISTでは区別できない性能を示した。
• 大規模バッチに基づくBarzilai-Borwein適応的ステップサイズ手法は、凸問題においてバックトラッキングラインサーチよりも高速に収束した。
• Big batch手法により、Polyak-Łojasiewicz問題では収束に近づく際に勾配近似が消えることから、自動停止基準が可能になった。
• 大規模バッチによる計算対通信比の向上のおかげで、分散環境において非常に効率的である。