[论文解读] General Low-rank Matrix Optimization: Geometric Analysis and Sharper Bounds

Haixiang Zhang, Yingjie Bi+1 more|arXiv (Cornell University)|Apr 21, 2021

Sparse and Compressive Sensing Techniques参考文献 31被引用 5

一句话总结

本文通过Burer-Monterio分解对一般低秩矩阵优化问题进行了几何分析，证明当秩-2的RIP常数δ < 1/2时，对于秩-1问题不存在虚假的二阶临界点；对于任意秩-r问题，当δ ≤ 1/3时同样成立。通过反例表明δ = 1/2的界限是紧致的，且在δ < 1/3时建立了严格鞍点性质，从而保证了一阶算法的多项式时间全局收敛性。

ABSTRACT

This paper considers the global geometry of general low-rank minimization problems via the Burer-Monterio factorization approach. For the rank-$1$ case, we prove that there is no spurious second-order critical point for both symmetric and asymmetric problems if the rank-$2$ RIP constant $δ$ is less than $1/2$. Combining with a counterexample with $δ=1/2$, we show that the derived bound is the sharpest possible. For the arbitrary rank-$r$ case, the same property is established when the rank-$2r$ RIP constant $δ$ is at most $1/3$. We design a counterexample to show that the non-existence of spurious second-order critical points may not hold if $δ$ is at least $1/2$. In addition, for any problem with $δ$ between $1/3$ and $1/2$, we prove that all second-order critical points have a positive correlation to the ground truth. Finally, the strict saddle property, which can lead to the polynomial-time global convergence of various algorithms, is established for both the symmetric and asymmetric problems when the rank-$2r$ RIP constant $δ$ is less than $1/3$. The results of this paper significantly extend several existing bounds in the literature.

研究动机与目标

• 通过Burer-Monterio分解方法分析低秩矩阵优化问题的全局几何结构。
• 确定在何种最紧致的受限等距性性质（RIP）常数δ下，虚假的二阶临界点不会存在。
• 在有利的RIP条件下，为对称与非对称低秩问题建立严格鞍点性质。
• 扩展现有低秩矩阵恢复与优化中的理论界限。

提出的方法

• 利用Burer-Monterio分解分析对称与非对称低秩矩阵优化问题，以减少变量数量并消除秩约束。
• 采用秩(2r, 2t)的受限等距性性质（RIP）来刻画Hessian矩阵的曲率并控制非凸性。
• 推导出所有二阶临界点均为全局最优解或与真实解具有正相关性的几何条件。
• 通过谱分析与扰动界证明：当δ < 1/2（秩-1）或δ ≤ 1/3（任意秩-r）时，虚假临界点不存在。
• 构造显式反例，表明当δ ≥ 1/2时，虚假二阶临界点的存在性不成立。
• 在δ < 1/3时建立严格鞍点性质，从而保证一阶方法的全局收敛性。

实验结果

研究问题

• RQ1 在秩-1低秩矩阵优化中，使得不存在虚假二阶临界点的最紧致RIP常数δ是多少？
• RQ2 对于一般秩-r问题，使得所有二阶临界点均为全局最优解或与真实解具有正相关性的最大δ值是多少？
• RQ3 能否在统一的RIP条件下，为对称与非对称低秩问题均建立严格鞍点性质？
• RQ4 δ = 1/2是否为秩-1问题中虚假二阶临界点不存在性的紧致界限？
• RQ5 在RIP假设下，低秩流形的几何结构如何影响一阶算法的收敛性？

主要发现

• 对于秩-1问题，当秩-2的RIP常数δ < 1/2时，不存在虚假的二阶临界点，且该界限是紧致的，因为在δ = 1/2处存在反例。
• 对于一般秩-r问题，当秩-2r的RIP常数δ ≤ 1/3时，虚假二阶临界点不存在。
• 当δ介于1/3与1/2之间时，所有二阶临界点均与真实矩阵具有正相关性。
• 当δ < 1/3时，对称与非对称问题的严格鞍点性质均成立，从而确保一阶算法的多项式时间全局收敛性。
• 本文提供了目前已知在低秩矩阵优化中基于RIP的最紧致几何界限，显著优于先前结果。
• 反例证实所推导界限的紧致性，表明当δ ≥ 1/2时，无法保证虚假临界点的不存在性。