[論文レビュー] How to Escape Saddle Points Efficiently

Chi Jin, Rong Ge+3 more|arXiv (Cornell University)|Mar 2, 2017

Sparse and Compressive Sensing Techniques参考文献 18被引用数 231

ひとこと要約

本論文は、perturbed gradient descent が ε-次の順二停留点を見つけ、したがって厳密な鞍点の下で局所最小となることを示し、polylog因子まで一階の収束速度に匹敵するほぼ dimenson-free な反復複雑性を達成する。

ABSTRACT

This paper shows that a perturbed form of gradient descent converges to a second-order stationary point in a number iterations which depends only poly-logarithmically on dimension (i.e., it is almost "dimension-free"). The convergence rate of this procedure matches the well-known convergence rate of gradient descent to first-order stationary points, up to log factors. When all saddle points are non-degenerate, all second-order stationary points are local minima, and our result thus shows that perturbed gradient descent can escape saddle points almost for free. Our results can be directly applied to many machine learning applications, including deep learning. As a particular concrete example of such an application, we show that our results can be used directly to establish sharp global convergence rates for matrix factorization. Our results rely on a novel characterization of the geometry around saddle points, which may be of independent interest to the non-convex optimization community.

研究の動機と目的

• 非凸最適化においてサドル点からの脱出の必要性を動機づけ、高次元での学習効率を向上させる。
• 摂動を伴う勾配降下に基づく手法を開発し、第二次停留点へ収束する。
• 穏やかな滑らかさとヘシアンLipschitz性の仮定の下で、反復計算量を定量化し、ほぼ dimension-free な速度を示す。
• 行列因数分解などの問題への適用性を示し、局所的な構造の利点を議論する。

提案手法

• 勾配が小さいときにランダムな摂動を追加する、perturbed gradient descent (PGD) をメタアルゴリズムとして提案する。
• ℓ-滑らかさとρ-ヘシアンリップシッツ性を持つ目的関数の下でPGDを分析し、ε-二次停留点性を達成するまでの時間を境界づける。
• しきい値に基づく摂動スケジュールを用い、摂動は d次元球から一様に引かれる。
• 摂動が鞍点周りの幾何学的な“バンド”論を介して鞍点からの脱出を可能にすることを示す。
• 主要な保証を与えるパラメータ選択（ステップサイズ η = O(1/ℓ)、摂動半径 r、しきい値）を提供する。
• 厳密鞍点性と局所的強凸性の設定に分析を拡張し、改善された速度を得る。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法は、時折の摂動を伴えて、すべての鞍点から多項式時間で脱出できるか？
• RQ2 ρ-Hessian Lipschitz関数で ε-第二次停留点へ到達する反復計算量はどれか？
• RQ3 局所的な幾何学的構造（厳密な鞍点、局所的な強凸性）が収束速度にどう影響するか？
• RQ4 このアプローチは行列因数分解 のような問題に対してグローバル収束保証をもたらすか？

主な発見

• Perturbed gradient descent は Õ(ℓ(f(x0)−f*)/ε^2) 回の反復で ε-二次停留を達成し、polylog(d) 因子までの範囲。
• 厳密な鞍点仮定の下で、同じ複雑性境界で局所 minima を見つける（対数因子を除けば）。
• 局所的な強凸性を伴うと、第二フェーズで収束は線形（log(1/ε)）に改善する。
• 行列因数分解に対して、枠組みは鋭いグローバル収束速度と明示的な反復界を提供する。
• 分析は鞍点近傍の幾何学的特徴付け（薄い“バンド”）を導入し、摂動後の脱出確率を境界づける。
• 結果は最大ステップサイズ Ω(1/ℓ) を満たし、一次検討と比較可能である。