[论文解读] A Singular Value Thresholding Algorithm for Matrix Completion

Jian‐Feng Cai, Emmanuel J. Candès+1 more|ArXiv.org|Oct 18, 2008

Sparse and Compressive Sensing Techniques参考文献 34被引用 131

一句话总结

本文提出了一种通过核范数最小化实现低秩矩阵补全的奇异值阈值化（SVT）算法，通过迭代对奇异值进行软阈值处理，高效地从少量观测条目中恢复矩阵。该方法具有快速收敛和低存储需求的特点，可在不到一分钟内恢复1,000×1,000的矩阵，并能从仅0.4%采样条目中恢复十亿量级的矩阵。

ABSTRACT

This paper introduces a novel algorithm to approximate the matrix with minimum nuclear norm among all matrices obeying a set of convex constraints. This problem may be understood as the convex relaxation of a rank minimization problem, and arises in many important applications as in the task of recovering a large matrix from a small subset of its entries (the famous Netflix problem). Off-the-shelf algorithms such as interior point methods are not directly amenable to large problems of this kind with over a million unknown entries. This paper develops a simple first-order and easy-to-implement algorithm that is extremely efficient at addressing problems in which the optimal solution has low rank. The algorithm is iterative and produces a sequence of matrices (X^k, Y^k) and at each step, mainly performs a soft-thresholding operation on the singular values of the matrix Y^k. There are two remarkable features making this attractive for low-rank matrix completion problems. The first is that the soft-thresholding operation is applied to a sparse matrix; the second is that the rank of the iterates X^k is empirically nondecreasing. Both these facts allow the algorithm to make use of very minimal storage space and keep the computational cost of each iteration low. We provide numerical examples in which 1,000 by 1,000 matrices are recovered in less than a minute on a modest desktop computer. We also demonstrate that our approach is amenable to very large scale problems by recovering matrices of rank about 10 with nearly a billion unknowns from just about 0.4% of their sampled entries. Our methods are connected with linearized Bregman iterations for l1 minimization, and we develop a framework in which one can understand these algorithms in terms of well-known Lagrange multiplier algorithms.

研究动机与目标

• 开发一种用于求解低秩矩阵补全中核范数最小化问题的高效一阶算法。
• 解决因高维导致内点法失效的大规模矩阵补全问题的计算不可行性。
• 利用解的低秩结构以最小化每轮迭代的存储和计算成本。
• 为矩阵补全提供一种实用且可扩展的半定规划替代方法。
• 在中等规模和超大规模问题（包括接近十亿未知数的问题）上展示该算法的有效性。

提出的方法

• 该算法采用一种交替迭代方案，依次执行线性约束投影和奇异值阈值化操作。
• 在每次迭代中，方法对矩阵 Y^k 的奇异值应用软阈值处理，记为 D_τ(Y^k)，以生成下一轮迭代的 X^k。
• 奇异值阈值化算子 D_τ(Y) 通过带部分重新正交化的Lanczos双对角化方法计算，对稀疏输入具有高效性。
• 该算法源自核范数最小化的对偶形式，与Uzawa算法及线性化Bregman迭代相关联。
• 建议采用延续法，通过热启动逐步增加 τ 值，以提升收敛速度。
• 该方法在迭代过程中保持 X^k 的秩非递减，从而支持低秩结构并减少计算开销。

实验结果

研究问题

• RQ1 是否一种一阶、易于实现的算法能够实现大规模矩阵补全问题的高效率与低存储使用？
• RQ2 在迭代方案中，对稀疏矩阵应用奇异值阈值化操作是否仍具有计算可行性？
• RQ3 能否通过实验验证SVT算法中迭代矩阵 X^k 的秩为非递减，并收敛至真实解的秩？
• RQ4 在存在噪声的情况下，该算法表现如何？能否在采样率有限时实现准确恢复？
• RQ5 SVT算法是否能仅使用部分条目，便实现接近十亿未知数问题的可扩展性？

主要发现

• SVT算法在普通台式计算机上可在一分钟内恢复一个1,000×1,000的矩阵，展现出极高的计算效率。
• 该算法成功地仅从0.4%的采样条目中恢复了秩约为10、未知数接近十亿的矩阵，表明其在超大规模问题上的可扩展性。
• 在噪声环境下，算法在约200次迭代内收敛至 ε=1e-4 的容差，相对误差为0.0769，接近0.08的噪声比。
• 迭代矩阵 X^k 的秩在实验中表现为非递减，并迅速达到未知矩阵 M 的真实秩 r，支持了算法对低秩结构的有效利用。
• 每轮迭代的计算成本保持低且稳定，因为奇异值阈值化所需时间在迭代过程中未显著增加。
• 理论收敛性已得到证明，且该方法与著名的拉格朗日乘子算法相关联，提供了坚实的理论基础。