[论文解读] Convergence of inexact descent methods for nonconvex optimization on Riemannian manifolds

G. C. Bento, João Xavier da Cruz Neto+1 more|arXiv (Cornell University)|Mar 24, 2011

Optimization and Variational Analysis参考文献 21被引用 15

一句话总结

该论文在不假设黎曼流形具有非正截面曲率或哈达姆流形结构的前提下，建立了非凸优化中非精确下降法在黎曼流形上的全局收敛性，基于Kurdyka-Łojasiewicz（KL）不等式。证明了当目标函数满足KL性质时，即使子问题求解不精确且使用准距离而非黎曼距离，近似点法和最速下降法生成的有界序列仍能实现完全收敛。

ABSTRACT

In this paper we present an abstract convergence analysis of inexact descent methods in Riemannian context for functions satisfying Kurdyka-Lojasiewicz inequality. In particular, without any restrictive assumption about the sign of the sectional curvature of the manifold, we obtain full convergence of a bounded sequence generated by the proximal point method, in the case that the objective function is nonsmooth and nonconvex, and the subproblems are determined by a quasi distance which does not necessarily coincide with the Riemannian distance. Moreover, if the objective function is $C^1$ with $L$-Lipschitz gradient, not necessarily convex, but satisfying Kurdyka-Lojasiewicz inequality, full convergence of a bounded sequence generated by the steepest descent method is obtained.

研究动机与目标

• 解决非凸优化中非精确下降法在黎曼流形上是否能实现全局收敛的开放问题，且无需假设流形为哈达姆流形或具有非正截面曲率。
• 将近似点法和最速下降法的收敛结果从凸和拟凸情形推广至满足Kurdyka-Łojasiewicz（KL）不等式的通用非凸函数。
• 通过使用准距离而非黎曼距离来求解子问题，建立在不精确子问题下的收敛性，从而扩展至非测地线最小步长的情形。
• 通过引入基于KL不等式和有界序列的通用框架，统一黎曼流形上下降法的收敛性分析。

提出的方法

• 提出一种通用下降法，由两个条件定义：包含准距离D的下降条件（f(x^{k+1}) + r₁D²(x^{k+1},x^{k}) ≤ f(x^{k})），以及与梯度相关的条件（||grad f(x^k)|| ≤ r₂D(x^{k+1},x^k)）。
• 将Kurdyka-Łojasiewicz（KL）不等式作为关键结构假设，以确保有界序列收敛至临界点。
• 结合KL性质与黎曼-洛赫定理及霍普夫-里诺定理，保证极限点的存在性与收敛性。
• 依赖一种广义的Fejér型收敛框架，证明序列有界，并满足下降与梯度条件，从而在KL条件下实现收敛。
• 引入一个允许通过准距离D求解不精确子问题的框架，其中D可能不等于黎曼距离d，从而推广了先前结果。
• 通过用KL性质与序列有界性替代对非正截面曲率或哈达姆结构的需求，实现在最小几何假设下的收敛性。

实验结果

研究问题

• RQ1 在不假设流形为哈达姆流形或具有非正截面曲率的前提下，非精确下降法是否能在非凸优化的黎曼流形上实现全局收敛？
• RQ2 Kurdyka-Łojasiewicz（KL）不等式是否足以确保在一般黎曼流形上，由非精确近似点法和最速下降法生成的有界序列收敛？
• RQ3 当子问题中使用的准距离D不等于黎曼距离d时，是否仍能建立收敛性？
• RQ4 当目标函数为C¹类且具有L-Lipschitz连续梯度，并满足KL不等式时，即使不具凸性，序列是否仍能完全收敛至临界点？

主要发现

• 论文证明，当目标函数为非光滑、非凸且满足KL不等式时，即使不假设非正截面曲率，由非精确近似点法生成的任意有界序列均收敛至极小化点。
• 对于满足KL不等式的C¹类函数且具有L-Lipschitz梯度，采用不精确步长（使用准距离D）的最速下降法生成的有界序列，将收敛至临界点，且不依赖于流形的曲率。
• 即使准距离D不等于黎曼距离d，只要D与d满足可比较性条件（s₁d ≤ D ≤ s₂d），收敛结果依然成立。
• 通过用KL性质与序列有界性替代对哈达姆流形或非正曲率流形的需求，分析在最小几何假设下实现收敛。
• 该框架通过基于KL不等式与有界序列的统一抽象收敛理论，统一了近似点法与最速下降法的收敛结果。