[论文解读] Matrix Completion and Low-Rank SVD via Fast Alternating Least Squares

Trevor Hastie, Rahul Mazumder+2 more|arXiv (Cornell University)|Oct 9, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用 307

一句话总结

本文提出了一种快速交替最小二乘法（ALS）算法，用于矩阵补全和低秩SVD，通过结合softImpute与最大间隔矩阵分解（MMMF）的优势。该方法通过在每轮迭代中对填充后的矩阵求解单一岭回归问题，加速收敛，支持热启动和稀疏矩阵利用，实现高效的大规模计算，在低秩问题上相比softImpute和标准ALS在速度和可扩展性方面表现更优。

ABSTRACT

The matrix-completion problem has attracted a lot of attention, largely as a result of the celebrated Netflix competition. Two popular approaches for solving the problem are nuclear-norm-regularized matrix approximation (Candes and Tao, 2009, Mazumder, Hastie and Tibshirani, 2010), and maximum-margin matrix factorization (Srebro, Rennie and Jaakkola, 2005). These two procedures are in some cases solving equivalent problems, but with quite different algorithms. In this article we bring the two approaches together, leading to an efficient algorithm for large matrix factorization and completion that outperforms both of these. We develop a software package "softImpute" in R for implementing our approaches, and a distributed version for very large matrices using the "Spark" cluster programming environment.

研究动机与目标

• 为解决大规模矩阵补全中的计算瓶颈，特别是softImpute中重复SVD带来的高昂开销。
• 将ALS的效率与softImpute的低秩正则化相结合，以提升可扩展性和收敛性能。
• 通过利用稀疏表示和热启动，实现在超大规模矩阵上的快速、分布式矩阵补全。
• 开发一个统一框架，高效求解核范数正则化矩阵补全和低秩分解问题。

提出的方法

• 提出一种新算法softImpute-ALS，通过在缺失值填充和对填充矩阵求解单一岭回归问题之间交替进行。
• 通过在完全观测矩阵上操作，对所有行/列使用单一共享的岭回归，避免标准ALS中对每行/列分别进行回归的开销。
• 利用前一轮迭代的热启动加速收敛，尤其在解接近最优时效果显著。
• 利用观测数据的稀疏矩阵表示以及因子矩阵的低秩结构，降低存储和计算开销。
• 引入一种矩方法用于中心化和标准化，可选择性且迭代式地应用，以提升数值稳定性。
• 使用Spark实现分布式版本，利用算法的高效性和稀疏结构，实现对超大规模矩阵的可扩展矩阵补全。

实验结果

研究问题

• RQ1 结合softImpute与ALS的混合算法是否能在大规模矩阵补全中实现更快收敛和更好可扩展性？
• RQ2 在填充矩阵上每轮迭代求解单一岭回归是否优于标准ALS中对每行/列分别求解回归？
• RQ3 从前一轮迭代中使用热启动是否能显著减少矩阵补全中的SVD计算时间？
• RQ4 在大规模稀疏矩阵上，该方法与softImpute和标准ALS相比，在性能和效率上表现如何？
• RQ5 选择性中心化与标准化对矩阵补全算法的收敛性和准确性有何影响？

主要发现

• 所提出的softImpute-ALS算法相比标准softImpute收敛速度快得多，因为它避免了在次优估计上重复进行SVD计算。
• 通过在每轮迭代中对填充矩阵求解单一岭回归，该方法相比标准ALS（需对每行或每列分别进行回归）显著降低了计算开销。
• 通过热启动和稀疏矩阵计算，该算法实现了高效率，适用于具有低秩结构的超大规模矩阵。
• 矩方法的中心化与标准化过程在实践中收敛迅速，R快速趋近于零，表明能快速适应数据结构。
• 基于Spark的分布式实现使该算法能够对极大规模数据集实现可扩展的矩阵补全，充分发挥其计算效率优势。
• 该算法成功弥合了核范数正则化与低秩分解之间的差距，为两类问题提供了一个统一且高效的解决方案。