[论文解读] Convergence of fixed-point continuation algorithms for matrix rank minimization

Donald Goldfarb, Shiqian Ma|arXiv (Cornell University)|Jun 18, 2009

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

本文建立了固定点延续算法在矩阵秩最小化问题中核范数最小化的收敛性与可恢复性性质。通过利用奇异值分解及与压缩感知的联系，作者证明了在受限等距性质（RIP）条件下，这些算法收敛于低秩解，且当测量算子满足小常数的RIP时，具有精确恢复的理论保证。

ABSTRACT

The matrix rank minimization problem has applications in many fields such as system identification, optimal control, low-dimensional embedding, etc. As this problem is NP-hard in general, its convex relaxation, the nuclear norm minimization problem, is often solved instead. Recently, Ma, Goldfarb and Chen proposed a fixed-point continuation algorithm for solving the nuclear norm minimization problem. By incorporating an approximate singular value decomposition technique in this algorithm, the solution to the matrix rank minimization problem is usually obtained. In this paper, we study the convergence/recoverability properties of the fixed-point continuation algorithm and its variants for matrix rank minimization. Heuristics for determining the rank of the matrix when its true rank is not known are also proposed. Some of these algorithms are closely related to greedy algorithms in compressed sensing. Numerical results for these algorithms for solving affinely constrained matrix rank minimization problems are reported.

研究动机与目标

• 分析矩阵秩最小化问题中核范数最小化的固定点延续算法的收敛性与可恢复性。
• 建立这些算法在何种理论条件下能恢复仿射约束矩阵问题的真实低秩解。
• 提出当真实秩未知时估计矩阵秩的启发式方法。
• 建立矩阵秩最小化算法与压缩感知中贪婪方法之间的联系。
• 对矩阵补全与仿射秩最小化问题中的所提算法进行数值验证。

提出的方法

• 固定点延续算法通过软阈值处理奇异值，迭代求解一系列奇异值阈值子问题。
• 该方法结合了近似奇异值分解（SVD），以在每次迭代中高效计算低秩逼近。
• 在测量算子 $\mathcal{A}$ 满足受限等距性质（RIP）的条件下分析收敛性，确保低秩矩阵的稳定恢复。
• 理论分析利用了低秩单位Frobenius范数矩阵的凸包，并将算子 $\mathcal{A}$ 的算子范数与RIP常数 $\delta_r(\mathcal{A})$ 关联。
• 关键环节是证明集合 $K = \{X : \|X\|_F + \frac{1}{\sqrt{r}}\|X\|_* \leq 1\}$ 包含于秩-$r$ 单位Frobenius范数矩阵的凸包中，从而实现范数控制。
• 该算法被应用于矩阵补全与仿射秩最小化问题，数值结果表明其具有稳健性能。

实验结果

研究问题

• RQ1 在何种条件下，固定点延续算法收敛于核范数最小化问题的解？
• RQ2 当测量算子满足受限等距性质时，固定点延续算法能否恢复真实的低秩解？
• RQ3 当真实秩未知时，如何估计解的秩？
• RQ4 固定点延续算法与压缩感知中贪婪算法之间存在何种关系？
• RQ5 在不同的矩阵补全与仿射秩最小化测试案例中，算法的数值性能与收敛速度如何比较？

主要发现

• 在标准假设（包括受限等距性质）下，固定点延续算法收敛于核范数最小化问题的解。
• 若测量算子 $\mathcal{A}$ 满足 $\delta_{2r}(\mathcal{A}) < 1$ 的受限等距性质，则可保证精确恢复真实低秩矩阵。
• 通过分析算子 $\mathcal{A}$ 在低秩矩阵凸包上的算子范数，建立了算法的收敛性。
• 证明表明 $K \subset S$，其中 $K$ 为集合 $\{X : \|X\|_F + \frac{1}{\sqrt{r}}\|X\|_* \leq 1\}$，$S$ 为秩-$r$ 单位Frobenius范数矩阵的凸包，该关系实现了范数控制。
• 数值实验验证了该算法在矩阵补全与仿射秩最小化问题中的有效性，包括Netflix问题。
• 提出了秩估计的启发式方法，实证表明其在真实秩未知时表现良好。