[论文解读] Guarantees of Riemannian Optimization for Low Rank Matrix Completion

Ke Wei, Jian‐Feng Cai+2 more|arXiv (Cornell University)|Mar 21, 2016

Sparse and Compressive Sensing Techniques参考文献 38被引用 26

一句话总结

该论文首次为低秩矩阵补全问题中的黎曼优化算法——梯度下降与共轭梯度下降——提供了理论恢复保证。在采样复杂度 $ m = O(n^{1.5}rackepsilon^{1.5}n) $ 下，通过一步硬阈值初始化可实现线性收敛；若采用重采样黎曼梯度下降初始化，则采样复杂度可进一步降低至 $ m = O(nr^2ackepsilon^2n) $，上述结果均在非相干性和有界性假设下成立。

ABSTRACT

We study the Riemannian optimization methods on the embedded manifold of low rank matrices for the problem of matrix completion, which is about recovering a low rank matrix from its partial entries. Assume $m$ entries of an $n imes n$ rank $r$ matrix are sampled independently and uniformly with replacement. We first prove that with high probability the Riemannian gradient descent and conjugate gradient descent algorithms initialized by one step hard thresholding are guaranteed to converge linearly to the measured matrix provided \begin{align*} m\geq C_κn^{1.5}r\log^{1.5}(n), \end{align*} where $C_κ$ is a numerical constant depending on the condition number of the underlying matrix. The sampling complexity has been further improved to \begin{align*} m\geq C_κnr^2\log^{2}(n) \end{align*} via the resampled Riemannian gradient descent initialization. The analysis of the new initialization procedure relies on an asymmetric restricted isometry property of the sampling operator and the curvature of the low rank matrix manifold. Numerical simulation shows that the algorithms are able to recover a low rank matrix from nearly the minimum number of measurements.

研究动机与目标

• 为低秩矩阵补全中的黎曼优化方法建立理论收敛保证。
• 分析黎曼梯度下降与共轭梯度下降实现线性收敛所需的采样复杂度。
• 通过引入一种新颖的重采样黎曼梯度下降初始化方法，降低采样复杂度。
• 将理论分析扩展至包含低秩流形的曲率及非对称限制等距性质。
• 通过在噪声和最小采样条件下的数值模拟，验证算法的鲁棒性与效率。

提出的方法

• 将矩阵补全问题建模为固定秩矩阵嵌入黎曼流形上的优化问题。
• 应用黎曼梯度下降与共轭梯度下降算法，通过切空间投影保持低秩结构。
• 采用一步硬阈值初始化方法，确保在足够采样下初始点接近真实矩阵。
• 提出一种重采样黎曼梯度下降初始化方法，将采样复杂度从 $O(n^{1.5}r\log^{1.5}n)$ 降低至 $O(nr^2\log^2n)$。
• 利用采样算子的非对称限制等距性质与低秩流形的曲率，控制误差传播。
• 通过迭代点与真实矩阵之间差值的谱范数与Frobenius范数界分析收敛性。

实验结果

研究问题

• RQ1 能否为低秩矩阵补全中的黎曼优化方法提供理论保证，使其以线性速率收敛？
• RQ2 黎曼梯度下降在高概率下恢复低秩矩阵所需的最小采样复杂度是多少？
• RQ3 能否通过改进初始化方法，将采样复杂度降至 $O(n^{1.5}r\log^{1.5}n)$ 以下？
• RQ4 低秩流形的曲率与采样算子的限制等距性质如何影响收敛性？
• RQ5 算法在数据存在噪声或近似低秩结构时，其鲁棒性如何？

主要发现

• 当 $ m \geq C_{\kappa}n^{1.5}r\log^{1.5}(n) $ 时，采用一步硬阈值初始化的黎曼梯度下降算法以高概率实现线性收敛，其中 $ C_{\kappa} $ 依赖于条件数。
• 重采样黎曼梯度下降初始化将所需采样复杂度降低至 $ m \geq C_{\kappa}nr^2\log^2(n) $，优于初始界。
• 理论分析依赖于采样算子的非对称限制等距性质与低秩矩阵流形的曲率。
• 在高概率采样条件下，Frobenius范数下的收敛速率为每步 $ \frac{5}{6} $，且为线性收敛。
• 数值模拟结果表明，算法可从接近最小测量数的采样中恢复低秩矩阵。
• 算法对加性高斯白噪声表现出鲁棒性，表明其在近似低秩场景下具有潜在扩展性。