[论文解读] Large-Scale Convex Minimization with a Low-Rank Constraint

Shai Shalev‐Shwartz, Alon Gonen+1 more|arXiv (Cornell University)|Jun 8, 2011

Sparse and Compressive Sensing Techniques参考文献 27被引用 91

一句话总结

本文提出 GECO，一种用于大规模凸优化的贪心算法，通过迭代选择梯度矩阵主奇异向量对应的秩-1更新来实现低秩约束。该方法在矩阵补全任务中实现快速收敛和优越性能，优于最先进方法如 JS，且通过幂迭代实现大规模矩阵的高效扩展。

ABSTRACT

We address the problem of minimizing a convex function over the space of large matrices with low rank. While this optimization problem is hard in general, we propose an efficient greedy algorithm and derive its formal approximation guarantees. Each iteration of the algorithm involves (approximately) finding the left and right singular vectors corresponding to the largest singular value of a certain matrix, which can be calculated in linear time. This leads to an algorithm which can scale to large matrices arising in several applications such as matrix completion for collaborative filtering and robust low rank matrix approximation.

研究动机与目标

• 解决大规模设置下在低秩约束下最小化凸函数的 NP-难问题。
• 开发一种高效且可扩展的算法，避免追踪范数松弛或半定规划带来的计算负担。
• 为直接在秩约束下优化的贪心方法提供形式化的近似保证。
• 通过利用奇异向量表示中的稀疏性，提升在矩阵补全和鲁棒低秩逼近任务中的性能。
• 在真实世界推荐数据集上，实证证明其优于现有方法（如 JS 算法）的性能。

提出的方法

• 将低秩矩阵表示为奇异向量对上的稀疏向量，将秩约束转化为稀疏性约束。
• 采用贪心选择策略，迭代添加能最大程度降低目标函数的秩-1分量。
• 在每一步中，使用幂迭代计算梯度矩阵的主左、右奇异向量，实现在线性时间内的计算。
• 采用交替最大化启发式方法，寻找超越主奇异向量的改进更新方向，以提升收敛速度。
• 通过额外的替换步骤优化分量并维持解的质量，每个秩增加步骤固定尝试指定次数。
• 使用 ApproxSV 并设置 30 次幂迭代来高效计算奇异向量，确保在大规模矩阵上的可扩展性。

实验结果

研究问题

• RQ1 贪心算法能否在不依赖追踪范数松弛的前提下，高效地在严格低秩约束下最小化凸函数？
• RQ2 在矩阵补全任务中，完全校正的贪心方法性能与基于追踪范数或 SVD 的方法相比如何？
• RQ3 使用超越主奇异向量的启发式更新方向对收敛速度和精度有何影响？
• RQ4 该算法能否在保持理论保证的同时，实现对大规模矩阵的高效扩展？
• RQ5 与约束方法相比，缺乏追踪范数约束是否能在某些数据集上带来更好的泛化性能？

主要发现

• 与 JS 算法相比，GECO 在测试集上的误差减少速度显著更快，尤其在早期迭代中。
• 在中等规模数据集上，GECO 达到了比 JS 算法更小的测试误差，尽管后者受益于追踪范数约束但存在更高的估计误差。
• 在小规模数据集上，由于在秩 4 之后出现过拟合，GECO 的测试误差略高，但其在秩 30 之后的过拟合控制优于 JS。
• 在大规模数据集上，GECO 与 JS 达到了相同的测试误差，表明其在极低秩（≤10）下具有强大的泛化能力。
• 通过依赖幂迭代计算奇异向量，该算法在大规模矩阵上实现了高效的可扩展性，每步仅需 O(log n) 次迭代。
• 即使使用启发式更新方向，只要主奇异向量计算准确，理论保证依然成立。