[论文解读] Fast Monte-Carlo Low Rank Approximations for Matrices

Shmuel Friedland, M. Kaveh+2 more|ArXiv.org|Oct 26, 2005

Scientific Research and Discoveries参考文献 4被引用 4

一句话总结

本文提出了一种蒙特卡洛算法，通过随机采样行或列，实现对大规模矩阵的快速、迭代式低秩逼近。通过每次迭代增加 $O(k)$ 个额外的行或列来更新逼近结果，该方法保证了弗罗贝尼乌斯范数的单调改进，并实现了 $O(kmn)$ 的时间复杂度，显著优于大规模矩阵上的标准 SVD，且在少数迭代内即可收敛至接近最优的低秩逼近结果。

ABSTRACT

In many applications, it is of interest to approximate data, given by mxn matrix A, by a matrix B of at most rank k, which is much smaller than m and n. The best approximation is given by singular value decomposition, which is too time consuming for very large m and n. We present here a Monte Carlo algorithm for iteratively computing a k-rank approximation to the data consisting of mxn matrix A. Each iteration involves the reading of O(k) of columns or rows of A. The complexity of our algorithm is O(kmn). Our algorithm, distinguished from other known algorithms, guarantees that each iteration is a better k-rank approximation than the previous iteration. We believe that this algorithm will have many applications in data mining, data storage and data analysis.

研究动机与目标

• 解决在数据分析与数据挖掘应用中，对非常大的 $m \times n$ 矩阵进行完整 SVD 计算不可行的问题。
• 开发一种迭代算法，通过每次更新改进低秩逼近质量，确保逼近质量的单调收敛。
• 将 $k$-秩逼近的计算成本从 $O(mn \min(m,n))$ 降低至 $O(kmn)$，同时保持高精度。
• 实现在标准 SVD 无法处理的超大矩阵上进行低秩逼近的实际计算，尤其适用于高维数据场景。

提出的方法

• 该算法通过从输入矩阵 $A$ 中迭代采样 $l = O(k)$ 行或列，来更新当前的 $k$-秩逼近 $B$。
• 在每次迭代中，通过计算一个 $(k+l) \times (k+l)$ 对称矩阵的谱分解来优化逼近结果。
• 更新过程确保弗罗贝尼乌斯范数 $\|B\|_F$ 单调递增，从而保证每一步都实现质量提升。
• 该算法利用 $k$-维向量与 $A^T$ 或 $A$ 的矩阵乘法，可并行化处理以获得性能提升。
• 采样策略包括无放回与有放回的均匀采样，以及基于图像数据中行梯度的加权采样。
• 算法使用 $\|B\|_F$ 的递增作为停止准则，表明逼近已收敛至最优 $k$-秩逼近。

实验结果

研究问题

• RQ1 能否设计一种随机化迭代算法，保证在大规模矩阵上实现低秩逼近质量的单调提升？
• RQ2 如何将 $k$-秩逼近的计算复杂度降低至 $O(mn \min(m,n))$ 以下，同时保持高精度？
• RQ3 何种采样策略（有放回/无放回、加权）能实现对最优低秩逼近的最快收敛？
• RQ4 该算法能否扩展至远超标准 SVD 处理能力的矩阵，例如 $8000 \times 200$ 的矩阵？
• RQ5 与非迭代的随机化 SVD 方法相比，该迭代更新框架在速度与精度方面有多大优势？

主要发现

• 该算法在合成数据与真实图像数据上均收敛至最优 $k$-秩逼近，相对误差趋近理论最小值。
• 对于一个 $3000 \times 500$ 的合成矩阵（秩为 500），相对误差在约 5 次迭代内收敛至最优误差的 1% 以内。
• 在 Cameraman 与 Liftingbody 图像上，该算法仅使用了极小部分采样数据，即实现了相对误差比分别为 1.083 和 1.08。
• 对于一个 $8000 \times 200$ 的随机矩阵（$k=100$），该算法相比确定性 SVD 实现了 42 倍的加速，同时保持相对误差在最优值的 10% 以内。
• 在四个不同数据集上，该算法分别实现了 1.145、8、3.33 和 42 倍的加速，且相对误差比始终低于 1.1。
• 无放回采样相比有放回采样实现了更快的收敛速度，验证了理论预期。