[论文解读] Convergence results for projected line-search methods on varieties of low-rank matrices via \L{}ojasiewicz inequality

Reinhold Schneider, André Uschmajew|arXiv (Cornell University)|Feb 21, 2014

Advanced Optimization Algorithms Research参考文献 41被引用 9

一句话总结

该论文通过在低秩矩阵流形（秩 ≤ k）上使用投影梯度的Lojasiewicz不等式，建立了投影线搜索方法的收敛性。通过将黎曼优化扩展至非光滑闭包 M≤k，利用切锥与度量投影，证明了实解析函数的全局收敛性，并在无需曲率界的前提下推导出渐近收敛速率，临界点要么位于光滑的秩-k 流形上，要么为梯度为零的点。

ABSTRACT

The aim of this paper is to derive convergence results for projected line-search methods on the real-algebraic variety $\mathcal{M}_{\le k}$ of real $m imes n$ matrices of rank at most $k$. Such methods extend Riemannian optimization methods, which are successfully used on the smooth manifold $\mathcal{M}_k$ of rank-$k$ matrices, to its closure by taking steps along gradient-related directions in the tangent cone, and afterwards projecting back to $\mathcal{M}_{\le k}$. Considering such a method circumvents the difficulties which arise from the nonclosedness and the unbounded curvature of $\mathcal{M}_k$. The pointwise convergence is obtained for real-analytic functions on the basis of a \L{}ojasiewicz inequality for the projection of the antigradient to the tangent cone. If the derived limit point lies on the smooth part of $\mathcal{M}_{\le k}$, i.e. in $\mathcal{M}_k$, this boils down to more or less known results, but with the benefit that asymptotic convergence rate estimates (for specific step-sizes) can be obtained without an a priori curvature bound, simply from the fact that the limit lies on a smooth manifold. At the same time, one can give a convincing justification for assuming critical points to lie in $\mathcal{M}_k$: if $X$ is a critical point of $f$ on $\mathcal{M}_{\le k}$, then either $X$ has rank $k$, or $ abla f(X) = 0$.

研究动机与目标

• 为解决在非闭合、曲率流形 Mk（秩-k 矩阵）上黎曼优化的收敛性困难问题。
• 通过在奇点处引入切锥，将线搜索方法扩展至闭合的实代数流形 M≤k（秩 ≤ k）。
• 利用投影反梯度上的Lojasiewicz不等式，证明在 M≤k 上实解析代价函数的全局收敛性。
• 在不依赖曲率界的前提下，仅基于极限点位于 M≤k 的光滑部分，推导渐近收敛速率估计。
• 证明 M≤k 上临界点的合理性：其要么为秩-k 矩阵，要么梯度为零，从而支持在完整流形上的实际优化。

提出的方法

• 在每次迭代点处，将负梯度投影到 M≤k 的切锥上，替代标准黎曼方法中使用的切空间投影。
• 采用度量投影重投影：R(X + Ξ) = argmin_{Y ∈ M≤k} ||Y - (X + Ξ)||_F，可通过SVD计算。
• 应用满足强下降与安全条件的线搜索策略。
• 利用投影反梯度上的Lojasiewicz梯度不等式，证明收敛至临界点。
• 利用Lojasiewicz参数（θ, Λ）估计渐近收敛速率，通过递推不等式推导显式界。
• 通过一系列涉及 f_n、||x_{n+1} - x_n|| 和 f_θ^n 的不等式分析收敛性，为 θ ∈ (0, 1) 提供速率估计。

实验结果

研究问题

• RQ1 在 M≤k（即 Mk 的闭包）上，投影线搜索方法是否能在不依赖曲率界或正则化条件下实现全局收敛？
• RQ2 当极限点位于 M≤k 的光滑部分时，投影反梯度上的Lojasiewicz不等式如何确保收敛性？
• RQ3 此类方法的渐近收敛速率是多少？是否可在无需二阶信息的前提下进行估计？
• RQ4 为何可合理假设 f 在 M≤k 上的临界点要么位于 Mk，要么满足 ∇f(X) = 0？
• RQ5 该理论框架能否推广至有界秩的张量流形，如Tucker格式或张量列车格式？

主要发现

• 通过投影反梯度上的Lojasiewicz不等式，证明了实解析函数在 M≤k 上投影线搜索方法的全局收敛性。
• 若极限点位于光滑部分 Mk，则仅依赖Lojasiewicz参数 θ 和 Λ 即可推导收敛速率估计，无需预先已知曲率界。
• 当 θ = 1/2 时，实现线性收敛；当 θ < 1/2 时，获得子线性收敛速率 O(n^{−p})，其中 p = θ/(1−2θ)。
• 临界点条件得到合理解释：若 X 是 f 在 M≤k 上的临界点，则要么 rank(X) = k，要么 ∇f(X) = 0。
• 数值实验表明，M≤k 上的方法可避免秩不足问题并收敛至解，尽管秩估计仍具挑战性。
• 该理论框架为将黎曼优化推广至有界秩张量流形（如Tucker或张量列车格式）提供了基础。