[论文解读] Fixed-rank matrix factorizations and Riemannian low-rank optimization

Bamdev Mishra, Gilles Meyer+2 more|arXiv (Cornell University)|Sep 3, 2012

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种基于商流形的黎曼优化框架，用于固定秩矩阵分解，实现了大规模非对称低秩矩阵的高效一阶与二阶优化。该方法将先前针对对称半正定矩阵的工作推广至非对称情形，并在低秩矩阵补全及相关学习任务中展现出与最先进算法相当的性能。

ABSTRACT

Motivated by the problem of learning a linear regression model whose parameter is a large fixed-rank non-symmetric matrix, we consider the optimization of a smooth cost function defined on the set of fixed-rank matrices. We adopt the geometric framework of optimization on Riemannian quotient manifolds. We study the underlying geometries of several well-known fixed-rank matrix factorizations and then exploit the Riemannian quotient geometry of the search space in the design of a class of gradient descent and trust-region algorithms. The proposed algorithms generalize our previous results on fixed-rank symmetric positive semidefinite matrices, apply to a broad range of applications, scale to high-dimensional problems and confer a geometric basis to recent contributions on the learning of fixed-rank non-symmetric matrices. We make connections with existing algorithms in the context of low-rank matrix completion and discuss relative usefulness of the proposed framework. Numerical experiments suggest that the proposed algorithms compete with the state-of-the-art and that manifold optimization offers an effective and versatile framework for the design of machine learning algorithms that learn a fixed-rank matrix.

研究动机与目标

• 解决在固定秩非对称矩阵流形上优化光滑目标函数的挑战。
• 基于黎曼商流形构建几何框架，统一并推广现有的低秩优化算法。
• 实现现代机器学习中高维问题所引发的可扩展的一阶与二阶优化。
• 提供一个灵活的几何基础，支持不同的矩阵分解形式与度量选择，增强算法的适应性。
• 在低秩矩阵补全及相关应用中，证明该框架与最先进方法具有竞争力。

提出的方法

• 通过三种经典分解形式表示固定秩矩阵：$\mathbf{W} = \mathbf{GH}^T$，$\mathbf{W} = \mathbf{UBV}^T$，和 $\mathbf{W} = \mathbf{UY}^T$，每种形式均诱导出黎曼商流形结构。
• 通过利用施蒂费尔流形与格拉斯曼流形的乘积空间，将搜索空间建模为黎曼商流形，从而系统地推导出几何对象。
• 推导出黎曼梯度、海森矩阵、重投影及向量传输的显式矩阵表达式，以支持一阶与二阶优化。
• 在乘积空间中引入度量选择的灵活性，允许对矩阵因子进行问题特定的正则化。
• 基于商流形几何实现信赖域与梯度下降算法，计算复杂度在矩阵维度上呈线性。
• 采用线性化步长选择进行初始步长估计，提升了实际应用中的收敛鲁棒性。

实验结果

研究问题

• RQ1 如何系统地将固定秩矩阵分解嵌入黎曼商流形框架中，以实现几何优化？
• RQ2 在一阶与二阶优化中，固定秩矩阵流形上所需的关键几何对象（梯度、海森矩阵、重投影）是什么？
• RQ3 矩阵分解形式的选择（如 $\mathbf{GH}^T$，$\mathbf{UBV}^T$，$\mathbf{UY}^T$）如何影响所得黎曼几何结构与算法性能？
• RQ4 基于商流形的黎曼优化能否在大规模低秩矩阵补全问题中实现与最先进算法相当的性能？
• RQ5 在乘积空间中度量选择的灵活性在哪些方面提升了收敛性与对特定学习任务的适应性？

主要发现

• 所提出的黎曼框架将先前针对对称半正定矩阵的结果推广至非对称固定秩情形。
• 在低秩矩阵补全任务中，所有三种考虑的分解形式（$\mathbf{GH}^T$，$\mathbf{UBV}^T$，$\mathbf{UY}^T$）在数值性能上表现相当，收敛速度与精度无显著差异。
• 基于商流形几何的信赖域方法在渐近性能上与 LRGeom RTR 相当，尽管 LRGeom RTR 在初始阶段收敛略优。
• 基于商流形几何的梯度下降算法在数值上与基于嵌入几何的算法无法区分，表明其在实际性能中具有鲁棒性与等价性。
• 度量选择的灵活性——特别是允许 $\mathbf{B}$ 为正定而非仅对角——在 $\mathbf{UBV}^T$ 分解中显著改善了收敛特性。
• 所有矩阵运算的计算成本在矩阵维度上保持线性，证实了其在高维问题（如 $32,000 \times 32,000$ 秩为 5 的矩阵）中的可扩展性。