[论文解读] Low-rank optimization with trace norm penalty

Bamdev Mishra, Gilles Meyer+2 more|arXiv (Cornell University)|Dec 11, 2011

Sparse and Compressive Sensing Techniques参考文献 31被引用 6

一句话总结

该论文提出了一种用于低秩矩阵优化的黎曼信任域算法，结合迹范数正则化，通过在商流形上的固定秩优化与秩一更新，实现超线性收敛。该方法在矩阵维度上保持线性复杂度，并通过预测-校正策略高效计算完整的正则化路径，在矩阵补全和回归任务中优于标准方法。

ABSTRACT

The paper addresses the problem of low-rank trace norm minimization. We propose an algorithm that alternates between fixed-rank optimization and rank-one updates. The fixed-rank optimization is characterized by an efficient factorization that makes the trace norm differentiable in the search space and the computation of duality gap numerically tractable. The search space is nonlinear but is equipped with a particular Riemannian structure that leads to efficient computations. We present a second-order trust-region algorithm with a guaranteed quadratic rate of convergence. Overall, the proposed optimization scheme converges super-linearly to the global solution while maintaining complexity that is linear in the number of rows and columns of the matrix. To compute a set of solutions efficiently for a grid of regularization parameters we propose a predictor-corrector approach that outperforms the naive warm-restart approach on the fixed-rank quotient manifold. The performance of the proposed algorithm is illustrated on problems of low-rank matrix completion and multivariate linear regression.

研究动机与目标

• 解决大规模低秩矩阵优化问题，特别是机器学习与高维统计中的迹范数正则化问题。
• 开发一种数值高效的算法，在保持矩阵规模线性复杂度的同时实现高精度。
• 高效计算多个正则化参数 λ 值下的完整正则化路径。
• 通过秩一更新与对偶间隙监控，确保全局收敛至最优低秩解。
• 在收敛速度与计算成本方面优于现有的基于一阶方法与奇异值阈值化的算法。

提出的方法

• 采用低秩分解 X = UBVᵀ，其中 B 为对称正定矩阵，对解空间进行参数化，以支持黎曼优化。
• 在正交矩阵 U 和 V 的商流形上执行固定秩优化，该流形配备支持高效信任域更新的黎曼结构。
• 采用二阶信任域方法，利用黎曼流形上的海森矩阵近似，实现二次收敛速率。
• 通过秩一更新逃离局部极小值，并逐步提升秩，直至达到全局最优。
• 采用预测-校正策略在优化过程中动态调整 λ，将局部极小值转化为不同 λ 值下的全局解。
• 通过所选参数化高效计算对偶间隙，以验证全局最优性并指导秩更新。

实验结果

研究问题

• RQ1 黎曼信任域算法能否在保持矩阵维度线性复杂度的前提下，实现低秩迹范数最小化的超线性收敛？
• RQ2 如何在不重复完整优化的情况下，高效计算多个 λ 值下的正则化路径？
• RQ3 秩一更新在逃离局部极小值与确保全局收敛中起到何种作用？
• RQ4 与依赖奇异值软阈值化的基于一阶方法相比，该方法在性能与效率上表现如何？
• RQ5 在固定秩设定下，能否高效计算对偶间隙以验证全局最优性？

主要发现

• 所提算法实现超线性收敛至全局最优解，收敛速度显著优于标准的一阶方法。
• 每次迭代的计算复杂度与矩阵行数和列数呈线性关系，适用于极高维问题（n > 10⁶）。
• 在固定秩流形上，采用预测-校正策略计算正则化路径比朴素的热启动策略更高效。
• 通过黎曼参数化，可数值上高效计算对偶间隙，从而实现全局最优性的认证。
• 在矩阵补全与多元回归任务中，该算法在性能上优于现有迹范数最小化与固定秩求解器。
• 采用二阶信任域步长确保了固定秩子问题的二次收敛速率，显著提升了整体效率。