[論文レビュー] Efficiently escaping saddle points on manifolds

Christopher Criscitiello, Nicolas Boumal|arXiv (Cornell University)|Jul 25, 2019

Stochastic Gradient Optimization Techniques被引用数 27

ひとこと要約

本稿では、リーマン多様体上の非凸最適化のための摂動付きリーマン勾配降下法（PRGD）を提案する。この手法は、多様体上の勾配ステップとその接空間における摂動付きステップを区別する。PRGDは、高確率で O((log d)^4 / ε²) 個の勾配クエリで、勾配が ε より小さく、ヘッセ行列が √ε 以内に正定値行列に近い近似2次最適性に到達することを示している。これは、ユークリッド空間におけるPGDと同等の複雑度であり、主成分分析（PCA）や低ランク行列補完といった大規模問題においても次元依存性が低いことを保証する。

ABSTRACT

Smooth, non-convex optimization problems on Riemannian manifolds occur in machine learning as a result of orthonormality, rank or positivity constraints. First- and second-order necessary optimality conditions state that the Riemannian gradient must be zero, and the Riemannian Hessian must be positive semidefinite. Generalizing Jin et al.'s recent work on perturbed gradient descent (PGD) for optimization on linear spaces [How to Escape Saddle Points Efficiently (2017), Stochastic Gradient Descent Escapes Saddle Points Efficiently (2019)], we study a version of perturbed Riemannian gradient descent (PRGD) to show that necessary optimality conditions can be met approximately with high probability, without evaluating the Hessian. Specifically, for an arbitrary Riemannian manifold $\mathcal{M}$ of dimension $d$, a sufficiently smooth (possibly non-convex) objective function $f$, and under weak conditions on the retraction chosen to move on the manifold, with high probability, our version of PRGD produces a point with gradient smaller than $\epsilon$ and Hessian within $\sqrt{\epsilon}$ of being positive semidefinite in $O((\log{d})^4 / \epsilon^{2})$ gradient queries. This matches the complexity of PGD in the Euclidean case. Crucially, the dependence on dimension is low, which matters for large-scale applications including PCA and low-rank matrix completion, which both admit natural formulations on manifolds. The key technical idea is to generalize PRGD with a distinction between two types of gradient steps: ``steps on the manifold'' and ``perturbed steps in a tangent space of the manifold.'' Ultimately, this distinction makes it possible to extend Jin et al.'s analysis seamlessly.

研究の動機と目的

• リーマン多様体に制約された非凸最適化問題における鞍点からの効率的脱出という課題に取り組む。
• ジンらの摂動付き勾配降下法（PGD）フレームワークをユークリッド空間からリーマン多様体へ拡張し、収束保証を維持する。
• ヘッセ行列を明示的に計算することなく、勾配が消え、ヘッセ行列がほぼ正定値となる近似2次最適性を達成する。
• 多様体の次元 d に依存する部分を低く保ち、主成分分析（PCA）や低ランク行列補完といった大規模問題へのスケーラビリティを確保する。

提案手法

• ジンらの解析を一般化するため、多様体上のステップと接空間における摂動付きステップに分ける、PRGDの変種を導入する。
• 再帰写像（retraction）を用いて接ベクトルを多様体に戻すことで、妥当な反復点を保ちながら幾何的構造を維持する。
• 接空間におけるランダムな摂動を適用して鞍点を脱出する。これはユークリッド空間におけるPGDの摂動メカニズムを模倣する。
• 収束を保証するため、再帰写像および目的関数 f の滑らかさに関する弱い仮定に依存する。
• 2次最適性への進捗を追跡する一般化されたポテンシャル関数を用いてアルゴリズムを解析する。
• 高確率で、リーマン勾配のノルムが ε より小さく、ヘッセ行列が正定値であることに √ε 以内に近い点に収束することを確立する。

実験結果

リサーチクエスチョン

• RQ1 摂動付きリーマン勾配降下法は、次元依存性が低い一般リーマン多様体上でも、鞍点からの効率的脱出を達成できるか？
• RQ2 多様体上での近似2次最適性に至るための複雑度は、ユークリッド空間の場合と比べてどの程度か？
• RQ3 多様体上のステップと接空間における摂動ステップを区別することで、PGDの解析をリーマン設定へ拡張可能になるメカニズムは何か？
• RQ4 ヘッセ行列をアルゴリズム内で避けても、近似2次最適点への収束を保証できるか？
• RQ5 提案手法は、主成分分析（PCA）や低ランク行列補完といった大規模問題においても、望ましい収束速度を維持できるか？

主な発見

• 提案されたPRGD手法は、高確率で O((log d)^4 / ε²) 個の勾配クエリで近似2次最適性に到達し、ユークリッドPGDと同等の複雑度を達成する。
• ヘッセ行列を計算せずに、勾配情報と接空間における摂動のみに依存して、鞍点を効率的に脱出できる。
• 複雑度の上限における次元 d への依存は対数的であり、主成分分析（PCA）や低ランク行列補完のような高次元問題に適している。
• 多様体上のステップと摂動付き接空間ステップの区別を用いることで、ジンらのユークリッドPGDフレームワークをリーマン多様体へ一般化した解析が可能になる。
• 高確率で、リーマン勾配ノルムが ε より小さく、ヘッセ行列が正定値であることに √ε 以内に近い点に到達することが保証される。
• 再帰写像および目的関数の滑らかさに関する弱い仮定のもとで結果が成り立つため、広範な適用可能性が保証される。