[論文レビュー] Escaping from saddle points on Riemannian manifolds

Yue Sun, Nicolas Flammarion+1 more|arXiv (Cornell University)|Jun 18, 2019

Stochastic Gradient Optimization Techniques参考文献 35被引用数 14

ひとこと要約

本稿では、滑らかなリーマン多様体上での2次静止点への収束を保証する摂動付きリーマン勾配降下法を提案する。この手法は、収束速度 $ O(1/\tau^2) $ で鞍点を回避し、多様体次元 $ d $ に対して対数的多項式的依存性を示し、曲率および滑らかさパラメータに対して多項式的依存性を示す。これは、非制約付きユークリッド最適化における最良の既知のレートと一致する。

ABSTRACT

We consider minimizing a nonconvex, smooth function $f$ on a Riemannian manifold $\mathcal{M}$. We show that a perturbed version of Riemannian gradient descent algorithm converges to a second-order stationary point (and hence is able to escape saddle points on the manifold). The rate of convergence depends as $1/ε^2$ on the accuracy $ε$, which matches a rate known only for unconstrained smooth minimization. The convergence rate depends polylogarithmically on the manifold dimension $d$, hence is almost dimension-free. The rate also has a polynomial dependence on the parameters describing the curvature of the manifold and the smoothness of the function. While the unconstrained problem (Euclidean setting) is well-studied, our result is the first to prove such a rate for nonconvex, manifold-constrained problems.

研究の動機と目的

• リーマン多様体上の非凸最適化における1次元手法の収束速度保証、特に鞍点付近での不足を解消すること。
• 摂動付きリーマン勾配降下法が鞍点を回避し、明示的なレートで2次静止点に収束することを確立すること。
• 次元にほとんど依存しないレートを導出し、幾何的構造を曇らせる既存手法とは異なり、多様体の曲率と関数の滑らかさに明示的に依存するレートを導出すること。
• 埋め込みユークリッド表現に依存せず、関数の滑らかさと多様体の曲率の役割を明確に分離する幾何学的根拠に基づく分析を提供すること。

提案手法

• 各反復でノイズを注入することで、鞍点を回避する摂動付きリーマン勾配降下法を提案する。
• 指数写像とリーマンヘッセ行列に基づく局所モデルを用いて収束を分析し、近似的な鞍点付近での挙動に焦点を当てる。
• 接空間内での反復点と摂動方向のカップリングを用いて、逸脱を制限し、鞍点領域からの脱出を保証する。
• ヘッセ行列の固有空間における探索方向のノルムに関する再帰的関係式を導出し、負の曲率方向への進行を追跡する。
• リャプノフ型の議論を用いて、ヘッセ行列の最小固有ベクトル方向への反復点の成分が指数関数的に増大することを示し、脱出を保証する。
• Jinら（2017a）に類似した体積論的議論を用いて、閉じ込められた領域からの脱出確率が下限で抑えられることを確立する。ただし、多様体の接空間に適応させたものである。

実験結果

リサーチクエスチョン

• RQ1 摂動付きリーマン勾配降下法は、非制約付きユークリッド設定と同等の収束速度で、リーマン多様体上での鞍点を回避できるか？
• RQ2 収束速度は多様体の次元、曲率、関数の滑らかさパラメータにどのように依存するか？
• RQ3 関数の滑らかさと多様体幾何の寄与を明確に分離できるか、それらを混同するのを避けることができるか？
• RQ4 収束速度が多様体次元に関して対数的多項式的であるか、すなわち次元にほとんど依存しない性能を示すか？

主な発見

• 摂動付きリーマン勾配降下法は、$ O(1/\tau^2) $ のレートで2次静止点に収束し、非制約付き滑らかな非凸最適化における最良の既知のレートと一致する。
• 収束速度は多様体次元 $ d $ に対して対数的多項式的依存性を示し、次元にほとんど依存しない性能を示す。
• レートは関数のヘッセ行列のリプシッツ定数 $ \rho $ および多様体の断面曲率に対して多項式的依存性を示し、幾何的要因と解析的要因を明示的に分離している。
• 分析は、多様体をユークリッド空間に埋め込むことなく、内在的なリーマン幾何構造を保った幾何学的根拠に基づくフレームワークを提供する。
• Jin ら（2017a）に類似した接空間の体積論的議論を用いて、鞍点領域からの脱出確率が下限で抑えられ、リーマン幾何に適応されたものである。
• 本研究は、非凸で多様体制約付き問題に対してこのようなレートを確立する初の結果であり、リーマン最適化理論における重要なギャップを埋める。