[論文レビュー] Gradient Descent Converges to Minimizers

Jason D. Lee, Max Simchowitz+2 more|arXiv (Cornell University)|Feb 16, 2016

Stochastic Gradient Optimization Techniques参考文献 28被引用数 123

ひとこと要約

ランダム初期化と小さな一定ステップサイズを用いる勾配降下法は、 strict saddle 性を持つ関数に対して、ほぼ確実に局所最小点へ収束し、鞍点には収束しない。

ABSTRACT

We show that gradient descent converges to a local minimizer, almost surely with random initialization. This is proved by applying the Stable Manifold Theorem from dynamical systems theory.

研究の動機と目的

• 非凸最適化を鞍点の障害によって動機づける。
• ランダム初期化を用いた勾配降下法が穏やかな正則性の下で厳密な鞍点を回避することを証明する。
• 小さなステップサイズの下で、鞍点や無限大への発散ではなく局所極小点への収束を示す。
• 解析を不変多様体理論と近接点反転へ関連付ける。

提案手法

• 勾配法を写像 g(x) = x - α∇f(x) を用いる離散力学系としてモデル化する。
• ヤコビ行列 Dg(x) = I - α∇²f(x) と Stable Manifold Theorem を用いて臨界点近傍の局所ダイナミクスを特徴づける。
• α < 1/L のとき g が微分同相であることを証明し、 global な挙動を局所的な安定集合 W^s_loc との関係で g^{-k} を介して捉える。
• 逆勾配写像の近接点解釈を適用して g^{-1} を構成し、厳密な鞍点に対して測度ゼロの安定集合を示す。
• 局所的な幾何とグローバルな反復を結びつけ、収束速度のためのLojasiewicz-type不等式を用いて収束性の含意を導く。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化の下で勾配降下の反復は鞍点へ収束するか。
• RQ2 厳密な鞍点性の下で、勾配法は鞍点を回避し一定のステップサイズで局所 minima へ収束するか。
• RQ3 α < 1/L というステップサイズは最小化点への収束を保証するうえでどのような役割を果たすか。
• RQ4 近接点解釈を他の降下風アルゴリズムへ拡張できるか。

主な発見

• ランダムな開始と 0 < α < 1/L を用いた勾配降下法は、厳密な鞍点をほぼ確実に回避する。
• 厳密な鞍点のグローバル安定集合は測度ゼロであり、ランダム初期化の下で局所極小へ収束するか無限大へ発散することがほぼ確実である。
• 反復列が有界であれば、与えられた条件の下で鞍点ではなく局所極小点へ収束する。
• 近接点アルゴリズムにも本結果が拡張される。なぜならその勾配写像は微分同相であり、その逆は-f の勾配上昇として与えられるからである。
• 系の特性として、鞍点が可算または孤立している場合には鞍点へ収束する確率がゼロとなり、極限の存在があるとき局所極小点への収束がほぼ確実になる。