[论文解读] Guarantees of Riemannian Optimization for Low Rank Matrix Recovery

Ke Wei, Jian‐Feng Cai+2 more|arXiv (Cornell University)|Nov 5, 2015

Sparse and Compressive Sensing Techniques参考文献 52被引用 13

一句话总结

本文为低秩矩阵恢复问题中的黎曼优化算法——特别是黎曼梯度下降法和重启的黎曼共轭梯度法——建立了理论收敛保证。当受限等距常数 $ R_{3r} $ 小于 $ C_\rho / \tilde{r} $ 时，若通过一步硬阈值法初始化，则可实现线性收敛至真实的秩-$ r $ 矩阵。

ABSTRACT

We establish theoretical recovery guarantees of a family of Riemannian optimization algorithms for low rank matrix recovery, which is about recovering an $m imes n$ rank $r$ matrix from $p < mn$ number of linear measurements. The algorithms are first interpreted as iterative hard thresholding algorithms with subspace projections. Based on this connection, we show that provided the restricted isometry constant $R_{3r}$ of the sensing operator is less than $C_κ/\sqrt{r}$, the Riemannian gradient descent algorithm and a restarted variant of the Riemannian conjugate gradient algorithm are guaranteed to converge linearly to the underlying rank $r$ matrix if they are initialized by one step hard thresholding. Empirical evaluation shows that the algorithms are able to recover a low rank matrix from nearly the minimum number of measurements necessary.

研究动机与目标

• 为低秩矩阵恢复中的黎曼优化算法建立理论恢复保证。
• 通过子空间投影将黎曼优化与迭代硬阈值法联系起来。
• 分析黎曼梯度下降法和重启的黎曼共轭梯度法的收敛性。
• 量化收敛性对受限等距常数 $ R_{3r} $ 和矩阵条件数的依赖关系。
• 提供从良好初始化点出发可保证线性收敛的条件。

提出的方法

• 将黎曼优化算法解释为带有子空间投影的迭代硬阈值法。
• 在低秩矩阵流形上分析黎曼梯度下降法和重启的黎曼共轭梯度法。
• 利用Frobenius范数和矩阵奇异值推导误差传播的递推关系。
• 通过涉及 $ R_{2r} $、$ R_{3r} $ 和条件数 $ \rho $ 的三重递推关系建立收缩界。
• 利用归纳法和二次递推关系的特征值分析，证明在阈值条件下实现线性收敛。
• 定义 $ \tau_1 $、$ \tau_2 $ 和 $ \rho $ 以表征收敛速率，并推导 $ \mu < 1 $ 的充分条件。

实验结果

研究问题

• RQ1 在何种条件下，黎曼梯度下降法对低秩矩阵恢复可实现线性收敛？
• RQ2 受限等距常数 $ R_{3r} $ 如何影响黎曼优化算法的收敛性？
• RQ3 重启的黎曼共轭梯度法是否在类似条件下也能实现线性收敛？
• RQ4 初始猜测在确保收敛性中起什么作用？一步硬阈值法如何改善其性能？
• RQ5 在收敛性分析中，如何缓解对条件数 $ \rho $ 的依赖？

主要发现

• 若 $ R_{3r} < C_\rho / \sqrt{r} $，其中 $ C_\rho $ 依赖于条件数 $ \rho $，则黎曼梯度下降法可保证线性收敛。
• 重启的黎曼共轭梯度法在相同的 $ R_{3r} $ 条件下也实现线性收敛。
• 当初始点通过一步硬阈值法获得时，可保证收敛，确保其与解足够接近。
• 误差按 $ c_l \leq \mu^l c_0 $ 衰减，其中 $ \mu < 1 $，且 $ \mu $ 由 $ R_{2r} $、$ R_{3r} $ 和条件数决定。
• 收敛速率依赖于 $ \tau_1 $、$ \tau_2 $ 和和 $ \gamma = \tau_1 + \tau_2 $，且 $ \gamma < 1 $ 是 $ \mu < 1 $ 的充分条件。
• 实验结果证实，这些算法可从接近所需最小测量数的条件下恢复低秩矩阵。