[論文レビュー] Convergence of inexact descent methods for nonconvex optimization on Riemannian manifolds

G. C. Bento, João Xavier da Cruz Neto+1 more|arXiv (Cornell University)|Mar 24, 2011

Optimization and Variational Analysis参考文献 21被引用数 15

ひとこと要約

本稿は、リーマン多様体上の非凸最適化における不正確勾配降下法のグローバル収束を、曲率制限なしに、Kurdyka-Łojasiewicz (KL) 不等式のもとで確立する。非正な断面曲率やハダマード多様体の仮定を必要としない。目的関数がKL性質を満たす場合、不正確な部分問題とリーマン距離ではなく準距離を用いる場合でも、近似プロキシマル点法および勾配降下法によって生成される有界な点列が収束することを証明する。

ABSTRACT

In this paper we present an abstract convergence analysis of inexact descent methods in Riemannian context for functions satisfying Kurdyka-Lojasiewicz inequality. In particular, without any restrictive assumption about the sign of the sectional curvature of the manifold, we obtain full convergence of a bounded sequence generated by the proximal point method, in the case that the objective function is nonsmooth and nonconvex, and the subproblems are determined by a quasi distance which does not necessarily coincide with the Riemannian distance. Moreover, if the objective function is $C^1$ with $L$-Lipschitz gradient, not necessarily convex, but satisfying Kurdyka-Lojasiewicz inequality, full convergence of a bounded sequence generated by the steepest descent method is obtained.

研究の動機と目的

• ハダマード多様体や非正な断面曲率の仮定を必要としない、リーマン多様体上での非凸最適化における不正確勾配降下法のグローバル収束問題を解決すること。
• 凸および準凸設定を超えて、一般の非凸関数がKurdyka-Łojasiewicz (KL) 不等式を満たす場合に、プロキシマル点法および勾配降下法の収束結果を拡張すること。
• リーマン距離ではなく準距離を用いる不正確部分問題の解法を許容することで、収束を確立し、測地線的最小ステップでない場合の応用範囲を広げること。
• KL不等式と有界点列に基づく一般枠組みを導入することで、多様体上での降下法の収束解析を統一すること。

提案手法

• 準距離 D を用いた2条件（減少条件：f(x^{k+1}) + r₁D²(x^{k+1},x^{k}) ≤ f(x^{k}) と勾配関連条件：||grad f(x^k)|| ≤ r₂D(x^{k+1},x^k)）で定義される一般降下法を提案する。
• 収束を保証するための主要な構造的仮定として、Kurdyka-Łojasiewicz (KL) 不等式を用いる。
• KL性質をリーマン-ロッホ定理およびホフプ＝ライノウ定理と組み合わせることで、蓄積点の存在と収束を保証する。
• 一般化されたフェージェール型収束フレームワークに依拠し、点列が有界であり、降下条件および勾配条件を満たすことで、KLのもとで収束を示す。
• 準距離 D がリーマン距離 d と一致しない場合でも、不正確部分問題を許容するフレームワークを導入し、従来の結果を一般化する。
• 非正な断面曲率やハダマード構造の必要性を、KL性質と点列の有界性に置き換えることで、最小限の幾何的仮定のもとで収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 ハダマード多様体や非正な断面曲率の仮定をしない場合、リーマン多様体上での非凸最適化における不正確勾配降下法がグローバルに収束するか？
• RQ2 Kurdyka-Łojasiewicz (KL) 不等式が、一般のリーマン多様体上での不正確プロキシマル点法および勾配降下法によって生成される有界点列の収束を保証するのに十分か？
• RQ3 部分問題で用いられる準距離 D がリーマン距離 d と一致しない場合でも収束は保証されるか？
• RQ4 目的関数が C¹ で L-リプシッツ勾配をもち、KL不等式を満たす場合でさえ、凸性がなくても点列が臨界点に完全に収束するか？

主な発見

• 本稿は、目的関数が非滑らかで非凸的であり、KL不等式を満たす場合、非正な断面曲率の仮定なしに、不正確プロキシマル点法によって生成される任意の有界点列が最小化点に収束することを証明する。
• L-リプシッツ勾配をもつ C¹ 関数が KL 不等式を満たす場合、準距離 D を用いた不正確ステップをとる勾配降下法は、多様体の曲率に依存せず、有界な点列を生成し、臨界点に収束する。
• 準距離 D がリーマン距離 d と一致しなくても、D が d と比較可能（s₁d ≤ D ≤ s₂d）である限り、収束結果は成立する。
• ハダマード多様体や非正曲率多様体の必要性を排除し、KL性質と点列の有界性に置き換えることで、最小限の幾何的仮定のもとで収束を確立する。
• KL不等式と有界点列に基づく一様な抽象的収束理論により、プロキシマル点法および勾配降下法の収束結果を統一する。