[論文レビュー] First-order methods almost always avoid saddle points: the case of vanishing step-sizes

Ioannis Panageas, Georgios Piliouras+1 more|arXiv (Cornell University)|Jun 18, 2019

Gaussian Processes and Bayesian Inference参考文献 21被引用数 4

ひとこと要約

本稿では、勾配降下、ミラー降下、近似点法、多様体降下を含む一次順序最適化手法が、Ω(1/k)のオーダーの消えるステップサイズでさえも、ほとんど確実に厳密な鞍点を避けることを確立している。著者らは、時間非一様な力学系に対する新しい安定多様体定理を構築することで、定数ステップサイズに関する先行研究を、適応的および減少ステップサイズへと拡張し、非凸最適化分野における長年の未解決問題を解消した。

ABSTRACT

In a series of papers \cite{LSJR16, PP17, LPP}, it was established that some of the most commonly used first order methods almost surely (under random initializations) and with step-size being small enough, avoid strict saddle points, as long as the objective function $f$ is $C^2$ and has Lipschitz gradient. The key observation was that first order methods can be studied from a dynamical systems perspective, in which instantiations of Center-Stable manifold theorem allow for a global analysis. The results of the aforementioned papers were limited to the case where the step-size $α$ is constant, i.e., does not depend on time (and bounded from the inverse of the Lipschitz constant of the gradient of $f$). It remains an open question whether or not the results still hold when the step-size is time dependent and vanishes with time. In this paper, we resolve this question on the affirmative for gradient descent, mirror descent, manifold descent and proximal point. The main technical challenge is that the induced (from each first order method) dynamical system is time non-homogeneous and the stable manifold theorem is not applicable in its classic form. By exploiting the dynamical systems structure of the aforementioned first order methods, we are able to prove a stable manifold theorem that is applicable to time non-homogeneous dynamical systems and generalize the results in \cite{LPP} for vanishing step-sizes.

研究の動機と目的

• 一次順序最適化手法が消えるステップサイズを用いる場合に厳密な鞍点を避けるかどうかという未解決問題を解消すること。
• 時間一様でない力学系に由来する一次順序手法へと、安定多様体理論の適用範囲を時間一様系から拡張すること。
• 勾配降下、ミラー降下、近似点法、多様体降下が、消えるステップサイズと確率的初期化のもとで、ほとんど確実に厳密な鞍点を避けることを証明すること。
• 実際の応用でよく用いられる適応的および減少ステップサイズスケジュールの理論的基盤を確立すること。

提案手法

• 時間非一様な力学系に適用可能な新しい安定多様体定理を構築し、古典的な安定多様体定理を一般化すること。
• 勾配降下、ミラー降下、近似点法、多様体降下などの一次順序手法の時間変動するステップサイズ下でのダイナミクスを分析すること。
• 臨界点におけるヤコビ行列を対角化するためにリーマン計量変換を用い、局所線形化の挙動を分析すること。
• 誘導されたリーマン計量のもとで、厳密な鞍点の安定集合が測度ゼロであることを証明し、ほとんど確実な回避を示すこと。
• 更新規則のテイラー展開における剰余項が、新しい定理に必要な正則性条件を満たしていることを確認すること。
• 一般化された安定多様体定理を適用し、確率的初期化から出発する軌道がほとんど確実に厳密な鞍点を避けることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 一次順序最適化手法が、消えるステップサイズを用いる場合に、厳密な鞍点を避けるか？
• RQ2 適応的または減少ステップサイズに由来する時間非一様な力学系に対して、古典的安定多様体定理を拡張可能か？
• RQ3 ミラー降下、近似点法、多様体降下が、消えるステップサイズのもとで、ほとんど確実に厳密な鞍点を避ける性質を保っているか？
• RQ4 非凸最適化において、厳密な鞍点のほとんど確実な回避を保証するためのステップサイズ列の条件は何か？

主な発見

• ステップサイズ αk = Ω(1/k) を用いる勾配降下は、確率的初期化のもとで、ほとんど確実に厳密な鞍点を避ける。
• 同じステップサイズ条件のもとで、ミラー降下、近似点法、多様体降下に対しても同様の回避性が成り立つ。
• 時間非一様な力学系に対する新しい安定多様体定理が証明され、非自励的一次順序手法のグローバル解析が可能になった。
• 最適化手法によって誘導されるリーマン計量のもとで、厳密な鞍点の安定集合は測度ゼロであるため、ほとんど確実な回避が保証される。
• 関数 x² − y² におけるシミュレーションを通じて理論的結果を実証的に検証した。その結果、消えるステップサイズでは原点（厳密な鞍点）を避けるが、非常に遅い減衰（1/k⁴）では失敗することが示された。
• 解析により、ステップサイズの選択が収束挙動に顕著に影響することを確認した。特に、遅い減衰は非臨界点への収束を引き起こす。