[論文レビュー] Batch Size Matters: A Diffusion Approximation Framework on Nonconvex Stochastic Gradient Descent.

Chris Junchi Li, Lei Li+2 more|arXiv (Cornell University)|May 22, 2017

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿は、非凸最適化における確率的勾配降下法（SGD）を分析するための拡散近似フレームワークを開発する。小さなステップサイズと至る所に均等なノイズが、局所的最小値からの指数的脱出とサドル点からのほぼ線形脱出をもたらすことを示す。小さなバッチサイズが鋭い最小値や不安定な点からの脱出を助け、後続のバッチサイズの増加がより平坦な最小値にSGDを閉じ込め、一般化性能を向上させることを示している。

ABSTRACT

We study the Stochastic Gradient Descent (SGD) method in nonconvex optimization problems from the point of view of approximating diffusion processes. We prove rigorously that the diffusion process can approximate the SGD algorithm weakly using the weak form of master equation for probability evolution. In the small step size regime and the presence of omnidirectional noise, our weak approximating diffusion process suggests the following dynamics for the SGD iteration starting from a local minimizer (resp.~saddle point): it escapes in a number of iterations exponentially (resp.~almost linearly) dependent on the inverse stepsize. The results are obtained using the theory for random perturbations of dynamical systems (theory of large deviations for local minimizers and theory of exiting for unstable stationary points). In addition, we discuss the effects of batch size for the deep neural networks, and we find that small batch size is helpful for SGD algorithms to escape unstable stationary points and sharp minimizers. Our theory indicates that one should increase the batch size at later stage for the SGD to be trapped in flat minimizers for better generalization.

研究の動機と目的

• 非凸最適化におけるSGDのダイナミクスを拡散過程の観点から理解すること。
• 小さなステップサイズとノイズの下で、SGDが局所的最小値およびサドル点からどのように脱出するかを厳密に分析すること。
• バッチサイズが脱出行動および一般化性能に与える役割を調査すること。
• 後期の訓練段階でバッチサイズを増やすことで平坦な最小値に収束させることの理論的裏付けを提供すること。

提案手法

• マスター方程式の弱形を用いて、SGDの確率的変化を拡散過程による弱近似で表現する。
• 局所的最小値の近傍からの脱出時間を分析するため、大偏差理論を適用する。
• 不安定な定常点の脱出時間を解析するため、脱出時間理論を用いる。
• ステップサイズに依存する脱出時間の依存関係を特定し、指数的スケーリングとほぼ線形スケーリングの違いを示す。
• 小さなバッチサイズが鋭い最小値およびサドル点からの脱出を促進する理論的条件を導出する。
• 時間の経過とともにバッチサイズを増やす訓練戦略を提案し、平坦な最小値を優遇する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化において、ステップサイズは局所的最小値からのSGDの脱出時間にどのように影響するか？
• RQ2 バッチサイズとSGDがサドル点および鋭い最小値からの脱出能力との間の理論的関係は何か？
• RQ3 拡散近似は、不安定および安定な定常点付近でのSGDのダイナミクスをどのように説明するか？
• RQ4 なぜ訓練の後期段階でバッチサイズを増やすと一般化性能が向上するのか？

主な発見

• SGDを拡散過程で弱近似することにより、局所的最小値からの脱出時間が逆ステップサイズの指数関数的増加に従うことが確認された。
• 同じ条件下で、サドル点からの脱出は逆ステップサイズに対してほぼ線形時間で発生する。
• 小さなバッチサイズは、ノイズレベルの上昇により、鋭い最小値および不安定な定常点からの脱出確率を高める。
• 理論的に、後期にバッチサイズを増やすことで平坦な最小値への収束を促進でき、一般化性能が向上することが裏付けられた。
• 局所的最小値については大偏差理論、不安定な均衡点については脱出時間理論に基づく理論的根拠が得られた。