[论文解读] A Fast Implementation of Singular Value Thresholding Algorithm using Recycling Rank Revealing Randomized Singular Value Decomposition

Yaohang Li, Wenjian Yu|arXiv (Cornell University)|Apr 14, 2017

Face and Expression Recognition参考文献 20被引用 11

一句话总结

本文提出了一种基于回收秩揭示随机SVD（R⁴SVD）的加速奇异值阈值化（SVT）算法，通过重用先前迭代中的左奇异向量，显著降低了部分SVD计算成本。通过采用模拟退火冷却机制自适应调整低秩近似的精度，该方法在矩阵补全任务中实现了显著提速——在图像恢复和电影推荐任务中均得到验证——且未牺牲准确性。

ABSTRACT

In this paper, we present a fast implementation of the Singular Value Thresholding (SVT) algorithm for matrix completion. A rank-revealing randomized singular value decomposition (R3SVD) algorithm is used to adaptively carry out partial singular value decomposition (SVD) to fast approximate the SVT operator given a desired, fixed precision. We extend the R3SVD algorithm to a recycling rank revealing randomized singular value decomposition (R4SVD) algorithm by reusing the left singular vectors obtained from the previous iteration as the approximate basis in the current iteration, where the computational cost for partial SVD at each SVT iteration is significantly reduced. A simulated annealing style cooling mechanism is employed to adaptively adjust the low-rank approximation precision threshold as SVT progresses. Our fast SVT implementation is effective in both large and small matrices, which is demonstrated in matrix completion applications including image recovery and movie recommendation system.

研究动机与目标

• 为解决奇异值阈值化（SVT）算法在矩阵补全中使用全SVD带来的高计算成本问题。
• 通过重用前一迭代的奇异向量作为初始基底，降低SVT中每轮迭代的部分SVD计算成本。
• 开发一种自适应精度控制机制，动态调整SVT迭代过程中低秩近似的阈值。
• 在无需事先知晓最终矩阵秩的前提下，实现在小规模与大规模矩阵上的高效且可扩展的矩阵补全。
• 与现有SVT变体相比，提升在真实应用场景（如图像恢复与协同过滤，例如电影推荐）中的性能表现。

提出的方法

• 引入R³SVD（秩揭示随机SVD）作为快速、固定精度的部分SVD方法，用于近似SVT算子。
• 通过将前一SVT迭代中的左奇异向量回收，作为当前迭代SVD计算的初始基底，将R³SVD扩展为R⁴SVD。
• 采用类似模拟退火的冷却机制，自适应地降低SVT进行过程中低秩近似所需的精度。
• 使用SVT算子 $ D_\tau(\mathbf{Y}^{(i)}) = \sum_{\sigma_j^{(i)} \geq \tau} (\sigma_j^{(i)} - \tau) \mathbf{u}_j^{(i)} (\mathbf{v}_j^{(i)})^T $，通过R⁴SVD高效计算，而非全SVD。
• 通过Uzawa方法或线性化Bregman迭代方法迭代应用该算法，并利用 $ P_\Lambda $ 对已知条目进行投影。
• 通过避免全SVD计算，仅关注高于阈值 $ \tau $ 的显著奇异值，从而保持计算效率。

实验结果

研究问题

• RQ1 从先前SVT迭代中回收奇异向量，是否能显著降低每轮迭代中部分SVD的计算成本？
• RQ2 通过冷却机制实现的自适应精度控制，是否在速度与准确性方面优于固定秩或固定精度的方法？
• RQ3 在大规模矩阵补全任务中，所提出的基于R⁴SVD的SVT与全SVD、Lanczos-based SVT及固定秩随机SVD（FRSVD）相比表现如何？
• RQ4 该方法是否能在不事先知晓真实矩阵秩的情况下，实现高精度的矩阵补全，特别是在大规模应用中？
• RQ5 在何种场景下（如图像恢复、推荐系统），自适应精度机制能带来可测量的性能提升？

主要发现

• 在 $ 8,192 \times 8,192 $ 的图像上，SVT-R⁴SVD将收敛所需的CPU时间相比SVT-Lanczos减少了94.2%，相比FRSVD减少了60.9%。
• 在MovieLens数据集上，SVT-R⁴SVD在7,867秒内达到最优测试MAE，优于FRSVD（49,432秒）和SVT-Lanczos（62,425秒）的收敛时间。
• 该方法实现了0.7228的测试MAE，略高于FRSVD（0.7214）和SVT-Lanczos（0.7212），表明在获得显著提速的同时，精度损失极小。
• 在20%像素采样条件下，由于信息含量更高，大图像的恢复误差显著低于小图像，尽管其秩比小于3.0。
• 自适应精度机制消除了对矩阵秩准确预估的需求，避免了固定秩方法（如FRSVD）中常见的过估计或欠估计问题。
• R⁴SVD在小规模与大规模矩阵中均实现了显著的计算节省，展示了在多样化矩阵补全应用中的鲁棒性与可扩展性。