[論文レビュー] The Impact of Local Geometry and Batch Size on Stochastic Gradient Descent for Nonconvex Problems

Vivak Patel|arXiv (Cornell University)|Sep 14, 2017

Stochastic Gradient Optimization Techniques参考文献 12被引用数 6

ひとこと要約

この論文は、非凸最適化におけるSGDが平坦な最小値を好む理由を説明する広く受け入れられている確率的メカニズムに挑戦し、局所幾何学とバッチサイズに基づく決定的メカニズムを提唱する。理論的枠組みを導出し、バッチサイズと学習率が不一致である場合、SGDが鋭い最小値から発散することを示し、指数的発散パターンを示す非凸問題における実験で検証した。

ABSTRACT

In several experimental reports on nonconvex optimization problems in machine learning, stochastic gradient descent (SGD) was observed to prefer minimizers with flat basins in comparison to more deterministic methods, yet there is very little rigorous understanding of this phenomenon. In fact, the lack of such work has led to an unverified, but widely-accepted stochastic mechanism describing why SGD prefers flatter minimizers to sharper minimizers. However, as we demonstrate, the stochastic mechanism fails to explain this phenomenon. Here, we propose an alternative deterministic mechanism that can accurately explain why SGD prefers flatter minimizers to sharper minimizers. We derive this mechanism based on a detailed analysis of a generic stochastic quadratic problem, which generalizes known results for classical gradient descent. Finally, we verify the predictions of our deterministic mechanism on two nonconvex problems.

研究の動機と目的

• SGDがノイズ誘発的な盆地探索によって平坦な最小値を好むという広く受け入れられている確率的メカニズムを挑戦すること。
• 非凸問題におけるSGDが平坦な最小値に収束するより厳密な決定的説明を特定すること。
• 局所幾何学とバッチサイズに基づくメカニズムを構築し、最小値への収束または発散を予測すること。
• 異なるバッチサイズと学習率を用いたSGDで、2つの非凸問題に対して提案されたメカニズムを実証的に検証すること。

提案手法

• 古典的勾配降下法の結果を非凸設定に一般化するため、一般的な確率的二次問題を分析する。
• ヘッセ行列の固有値とバッチサイズに基づいて、最小値からの発散に関する決定的条件を導出する。
• 最小値の局所的曲率とバッチサイズに依存する学習率の閾値を導入し、安定性または発散を予測する。
• バッチサイズを表す $k$ を用いて SGD- $k$ をミニバッチSGDの代理として使用し、収束行動をシミュレート・分析する。
• 2つの非凸モデルにおける数値実験を実施し、鋭い最小値からの指数的発散の予測をテストする。
• 異なる初期半径と学習率におけるSGDの挙動を比較し、決定的メカニズムの頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的メカニズムが予測するよりも、なぜSGDは鋭い最小値よりも平坦な最小値を好むのか？
• RQ2 局所幾何学とバッチサイズに基づく決定的メカニズムは、非凸問題におけるSGDの収束行動を説明できるか？
• RQ3 提案されたメカニズムは、特定の学習率とバッチサイズの条件下で鋭い最小値からの指数的発散を予測できるか？
• RQ4 学習率と初期位置の半径の変化が、最小値への収束または発散に与える影響は何か？
• RQ5 決定的メカニズムは、SGDが最小値の周辺に安定するか、発散するかを信頼性高く予測できるか？

主な発見

• 確率的メカニズムは、SGDが平坦な最小値を好むのを説明できない。なぜなら、このメカニズムはより大きな盆地にいる確率が高くなると予測するが、平坦な最小値とは無関係である。
• 局所幾何学とバッチサイズから導かれた閾値を超える学習率では、実験で鋭い最小値からの指数的発散が観測された。
• 閾値未満の学習率（例：0.5u）では、平坦な最小値と鋭い最小値の両方で安定性と収束が観察され、決定的メカニズムと整合的であった。
• 学習率が高すぎる場合（例：1.5l や 0.5(u+l)）、平坦な最小値および鋭い最小値からの発散をメカニズムが正しく予測した。
• 異なる初期半径においても挙動が頑健であったため、メカニズムが初期位置に依存せず、局所幾何学とバッチサイズに依存することが確認された。
• 2つの非凸モデルにおける実証的結果から、決定的メカニズムが発散パターンを正確に予測でき、理論的予測と強く一致することが確認された。