[论文解读] A Convergent Gradient Descent Algorithm for Rank Minimization and Semidefinite Programming from Random Linear Measurements

Qinqing Zheng, John Lafferty|arXiv (Cornell University)|Jun 19, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用 121

一句话总结

该论文提出了一种基于随机线性测量的可扩展、收敛的梯度下降算法，用于低秩矩阵最小化和半定规划。通过将低秩矩阵参数化为 $X = ZZ^\top$，并最小化平方残差 $f(Z) = \frac{1}{4m}\|\mathcal{A}(ZZ^\top) - b\|^2$，该方法在高斯正交系综测量矩阵下，仅需 $O(r^3 n \log n)$ 个随机测量，即可实现对全局最优解的线性收敛。

ABSTRACT

We propose a simple, scalable, and fast gradient descent algorithm to optimize a nonconvex objective for the rank minimization problem and a closely related family of semidefinite programs. With $O(r^3 \\kappa^2 n \\log n)$ random measurements of a positive semidefinite $n \ imes n$ matrix of rank $r$ and condition number $\\kappa$, our method is guaranteed to converge linearly to the global optimum.

研究动机与目标

• 开发一种在随机线性测量下可扩展且高效的低秩矩阵最小化一阶算法。
• 通过非凸优化填补半定规划（SDPs）在理论多项式时间可解性与实际不可行性之间的差距。
• 在测量结构的自然假设下，实现低秩矩阵恢复问题的全局最优解线性收敛。
• 在稀疏测量设置下，证明该方法优于现有方法。
• 通过低秩最小化框架，将梯度下降的应用范围扩展至一类半定规划问题。

提出的方法

• 将低秩正定矩阵 $X^\star$ 参数化为 $X^\star = Z^\star Z^{\star\top}$，其中 $Z^\star \in \mathbb{R}^{n \times r}$，从而将非凸的低秩最小化问题转化为对 $Z$ 的优化。
• 将目标函数表述为 $f(Z) = \frac{1}{4m} \sum_{i=1}^m (\operatorname{tr}(Z^\top A_i Z) - b_i)^2$，即在 $Z$ 上的非凸函数。
• 应用梯度下降法最小化 $f(Z)$，并通过精心设计的初始化和步长确保收敛性。
• 使用从高斯正交系综（GOE）中抽取的随机测量矩阵 $A_i$，以保证有利的浓度性质。
• 利用随机矩阵理论和矩阵浓度不等式，证明在 $O(r^3 n \log n)$ 测量下具有收敛性保证。
• 通过解的线性变换，建立低秩最小化问题与一类半定规划之间的联系。

实验结果

研究问题

• RQ1 简单的梯度下降方法是否能在随机线性测量下实现低秩最小化的全局收敛？
• RQ2 在高概率下实现精确恢复所需的最少随机测量数量是多少？
• RQ3 在测量过程的自然假设下，所提算法是否能实现对全局最优解的线性收敛？
• RQ4 与核范数最小化或交替最小二乘等现有方法相比，该方法在性能和可扩展性方面表现如何？
• RQ5 该算法能否通过低秩最小化框架扩展至求解更广泛的半定规划问题？

主要发现

• 当使用来自高斯正交系综的 $O(r^3 n \log n)$ 个随机测量时，该算法以高概率实现对全局最优解的线性收敛。
• 实验结果表明，理论边界可能可改进至 $O(r n \log n)$，提示未来可进行更紧致的理论分析。
• 当测量矩阵 $A_i$ 为稀疏时，该方法显著优于其他替代方法。
• 收敛保证在较弱假设下成立：$X^\star$ 为正定矩阵，且 $\mathcal{A}(X)_i = \operatorname{tr}(A_i X)$，其中 $A_i \sim \text{GOE}$。
• 该框架可通过将解通过线性映射从低秩最小化解变换，实现对一类半定规划的求解。
• 该算法的计算成本低于内点法和现有的一阶求解器，适用于大规模问题。