[论文解读] A Riemannian geometry for low-rank matrix completion

Bamdev Mishra, K. Adithya Apuroop+1 more|arXiv (Cornell University)|Nov 7, 2012

Sparse and Compressive Sensing Techniques参考文献 25被引用 52

一句话总结

本文通过将度量在商流形上针对特定的最小二乘代价函数进行调优，提出了一种用于低秩矩阵补全的新黎曼几何，从而实现了高效的一阶和二阶优化。由此产生的算法——梯度下降、共轭梯度和信赖域方法——在大规模和低密度实例上实现了最先进性能，且精确线搜索使其在数值上高效，并与LMaFit方法具有竞争力。

ABSTRACT

We propose a new Riemannian geometry for fixed-rank matrices that is specifically tailored to the low-rank matrix completion problem. Exploiting the degree of freedom of a quotient space, we tune the metric on our search space to the particular least square cost function. At one level, it illustrates in a novel way how to exploit the versatile framework of optimization on quotient manifold. At another level, our algorithm can be considered as an improved version of LMaFit, the state-of-the-art Gauss-Seidel algorithm. We develop necessary tools needed to perform both first-order and second-order optimization. In particular, we propose gradient descent schemes (steepest descent and conjugate gradient) and trust-region algorithms. We also show that, thanks to the simplicity of the cost function, it is numerically cheap to perform an exact linesearch given a search direction, which makes our algorithms competitive with the state-of-the-art on standard low-rank matrix completion instances.

研究动机与目标

• 为低秩矩阵补全问题专门开发一个黎曼优化框架。
• 通过在固定秩矩阵的商流形上调优黎曼度量，利用最小二乘代价函数的结构特征。
• 基于新几何设计高效的的一阶和二阶优化算法（梯度法、共轭梯度法、信赖域法）。
• 证明在新度量下精确线搜索在计算上是可行的，从而提升算法效率。
• 表明所提出的框架在大规模和低密度的矩阵补全问题上优于现有方法，包括LMaFit。

提出的方法

• 使用矩阵分解 $\mathbf{X} = \mathbf{G}\mathbf{H}^T$ 参数化搜索空间，其中 $\mathbf{G} \in \mathbb{R}^{n \times r}_*$ 和 $\mathbf{H} \in \mathbb{R}^{m \times r}_*$，从而形成商流形结构。
• 在商流形上引入一种与问题相关的黎曼度量，以体现Frobenius范数代价函数 $\|\mathcal{P}_\Omega(\mathbf{X}) - \mathcal{P}_\Omega(\widetilde{\mathbf{X}})\|_F^2$ 的结构特征。
• 利用商流形几何推导出黎曼梯度和Hessian的显式表达式，从而支持一阶和二阶优化。
• 在新几何上实现最速下降法、共轭梯度法和信赖域算法，且精确线搜索在计算上高效可行。
• 利用 $({\bf G},{\bf H}) \mapsto ({\bf G}{\bf M}^{-1}, {\bf H}{\bf M}^T)$ 的不变性来定义商结构，避免因子分解的非唯一性。
• 通过在大规模实例上的大量数值实验，将新几何与现有几何（如右不变几何、嵌入几何）进行比较。

实验结果

研究问题

• RQ1 如何将固定秩矩阵的黎曼几何适配于低秩矩阵补全问题的特定代价函数？
• RQ2 在低秩矩阵的商流形上，是否可以通过设计与问题相关的度量，实现比现有几何更快的收敛速度和更优性能？
• RQ3 在新几何下，精确线搜索在多大程度上仍保持计算上的可行性？这对算法效率有何影响？
• RQ4 与最先进方法LMaFit相比，所提出的框架在收敛速度和可扩展性方面表现如何？
• RQ5 在何种场景下（如低采样密度 vs. 高采样密度），新几何优于现有黎曼优化方法？

主要发现

• 所提出的黎曼几何通过将度量与最小二乘代价函数相匹配，实现了高效的显式一阶和二阶优化，且支持精确线搜索。
• 在大规模实例（$n = m = 32000$，$r = 10$，观测条目占比0.12%）上，基于新几何的共轭梯度算法优于所有其他CG方案。
• 在 $n = m = 10000$，$r = 5$ 且观测条目占比0.5%的情况下，LMaFit因参数调优不佳而失效，而新几何仍保持良好的收敛性能。
• 基于新几何的信赖域算法在迭代次数和计算成本方面显著优于右不变几何，并与嵌入几何相比具有竞争力。
• 基于新几何的梯度下降和共轭梯度方案在计算时间上优于LRGeom几何，表明其具有更高的计算效率。
• 新框架可推广为LMaFit的调优步长变体，表明LMaFit是所提优化方案的一个特例。