[論文レビュー] Gradient Descent Can Take Exponential Time to Escape Saddle Points

Simon S. Du, Chi Jin+4 more|arXiv (Cornell University)|May 29, 2017

Stochastic Gradient Optimization Techniques被引用数 63

ひとこと要約

この論文は標準的な勾配降下が鞍点を脱出するのに指数時間を要する一方で、摂動を伴う勾配降下は多項式時間で収束することを証明している。

ABSTRACT

Although gradient descent (GD) almost always escapes saddle points asymptotically [Lee et al., 2016], this paper shows that even with fairly natural random initialization schemes and non-pathological functions, GD can be significantly slowed down by saddle points, taking exponential time to escape. On the other hand, gradient descent with perturbations [Ge et al., 2015, Jin et al., 2017] is not slowed down by saddle points - it can find an approximate local minimizer in polynomial time. This result implies that GD is inherently slower than perturbed GD, and justifies the importance of adding perturbations for efficient non-convex optimization. While our focus is theoretical, we also present experiments that illustrate our theoretical findings.

研究の動機と目的

• ランダムに初期化された勾配降下が、非凸で滑らかな関数に対して鞍点を多項式時間で脱出するかを評価する。
• 非病理的で自然な初期化シナリオを構築し、摂動有/無での GD の性能を分析する。
• GD と摂動付き GD の二階最適点（second-order stationary points）への収束時間を比較する。
• 構築された反例を用いた実験で理論的知見を例示する。

提案手法

• 滑らかさと厳密な鞍点の正式な定義を提供する（勾配リプシッツ、ヘッセ行列リプシッツ、そしてアルファ厳密鞍点）。
• ランダム初期化を用いた勾配降下が、構築された滑らかな関数上で鞍点の連なりから脱出するのに指数時間かかることを示す。
• 摂動勾配降下（PGD）を採用し、適切なパラメータ下で鞍点の脱出を多項式時間に達成することを証明する。
• 多鞍点構成（“tube”と“octopus”）を用いた証明の概略を提示し、それを d 次元に拡張し、Whitney 拡張を用いて R^d に拡張する。
• 次元を跨いだ反例に対して、GD と PGD を比較する実証的デモンストレーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化を用いた勾配降下は、非凸滑らかな関数上で鞍点を多項式時間で脱出するのか？
• RQ2 非凸最適化において、摂動が鞍点からの脱出時間にどう影響するのか？
• RQ3 GD が本質的に指数時間へと遅延する自然またはほぼ自然な初期化を構築できるか？
• RQ4 合理的な条件の下で、GD の摂動付き変種が鞍点を多項式時間で脱出することを証明できるか？

主な発見

• GD は fairly natural 初期化の下で、構築された d 個の鞍点を脱出するのに exp(d) 回の反復を要する可能性がある。
• 摂動勾配降下は、poly(d, 1/epsilon) 回の反復で高確率に鞍点を脱出する。
• 多くの対称的な鞍点を持つ関数が存在し、GD の脱出時間は鞍点の数と共に乗法的に増加する一方、PGD は鞍点ごとに概ね一定のままである。
• 単位立方体上の一様初期化の下で、GD が e^{Omega(d)} ステップ以内に epsilon 二次・第一順序 stationary point に到達しない滑らかで有界かつリプシッツな関数が存在するが、PGD は到達する。
• 系統的な初期化族へ結果を拡張する系は、エリップシ強さを含む広範な初期化族にも適用可能で、ガウス初期化で質量が ell-infinity ボールに集中する場合も、指数時間対多項式時間の対比を保持する。