[论文解读] Low-rank matrix completion by Riemannian optimization---extended version

Bart Vandereycken|arXiv (Cornell University)|Sep 18, 2012

Sparse and Compressive Sensing Techniques参考文献 44被引用 18

一句话总结

本文提出 LRGeomCG，一种用于低秩矩阵补全的黎曼共轭梯度方法，通过在固定秩矩阵的流形上使用黎曼优化技术进行优化。该方法在大规模问题上表现出极高的可扩展性和优越性能，并在非相干矩阵满足限制等距性质的条件下证明了收敛性。

ABSTRACT

The matrix completion problem consists of finding or approximating a low-rank matrix based on a few samples of this matrix. We propose a new algorithm for matrix completion that minimizes the least-square distance on the sampling set over the Riemannian manifold of fixed-rank matrices. The algorithm is an adaptation of classical non-linear conjugate gradients, developed within the framework of retraction-based optimization on manifolds. We describe all the necessary objects from differential geometry necessary to perform optimization over this low-rank matrix manifold, seen as a submanifold embedded in the space of matrices. In particular, we describe how metric projection can be used as retraction and how vector transport lets us obtain the conjugate search directions. Finally, we prove convergence of a regularized version of our algorithm under the assumption that the restricted isometry property holds for incoherent matrices throughout the iterations. The numerical experiments indicate that our approach scales very well for large-scale problems and compares favorably with the state-of-the-art, while outperforming most existing solvers.

研究动机与目标

• 高效解决大规模低秩矩阵补全问题的挑战，尤其是在标准凸松弛方法可扩展性较差的情况下。
• 开发一种非凸优化框架，直接在固定秩矩阵的黎曼流形上最小化采样条目上的最小二乘误差。
• 为协同过滤和系统辨识等实际应用提供可扩展且鲁棒的矩阵补全方法，其中数据矩阵规模巨大且不完整。
• 在标准假设（如非相干矩阵的限制等距性质）下，为算法的正则化变体提供理论收敛保证。

提出的方法

• 将低秩矩阵补全问题表述为在固定秩矩阵流形 $\mathcal{M}_k$ 上的光滑优化问题。
• 使用黎曼梯度 $\operatorname{grad}f(X) = \textrm{P}_{T_X\mathcal{M}_k}(\operatorname{P}_\Omega(X - A))$ 计算切空间内的最速下降方向。
• 采用度量投影作为重描（retraction），以确保优化步骤中迭代点始终保持在流形上。
• 应用向量传输实现搜索方向在流形上的平行移动，从而支持共轭方向的更新。
• 将经典非线性共轭梯度方法适配到黎曼设置中，并结合 Armijo 线搜索选择步长。
• 通过二阶变分推导黎曼海森矩阵，将其分解为涉及当前迭代点行空间与列空间投影的分量。

实验结果

研究问题

• RQ1 在固定秩矩阵流形上进行黎曼优化是否能优于传统核范数松弛方法在大规模矩阵补全中的表现？
• RQ2 在低秩矩阵流形上实现共轭梯度方法所需的几何与算法组件（如重描、向量传输）有哪些？
• RQ3 在何种条件下，黎曼共轭梯度算法的正则化版本能收敛到真实的低秩解？
• RQ4 对于大规模稀疏采样集，该方法在计算成本和内存使用方面如何扩展？
• RQ5 在噪声存在的情况下（通过容忍度 $\varepsilon$ 建模的鲁棒公式），该算法是否仍保持鲁棒性？

主要发现

• 所提出的 LRGeomCG 算法在大规模问题上表现出极佳的可扩展性，在数值实验中性能优于现有最先进求解器。
• 在迭代过程中，若非相干矩阵满足限制等距性质，则该算法正则化版本的收敛性已得到证明。
• 黎曼海森矩阵被显式推导为两个算子之和：一个涉及行空间与列空间的投影，另一个与采样集和残差矩阵相关。
• 黎曼梯度通过度量投影到低秩流形的切空间上计算，确保在正确的黎曼几何下实现下降。
• 采用度量投影作为重描和向量传输，实现了在非凸低秩流形上的稳定高效优化。
• 在准确性和速度方面，该方法优于大多数现有求解器，尤其在具有稀疏采样模式的大矩阵上表现突出。