[论文解读] A Rank Revealing Randomized Singular Value Decomposition (R3SVD) Algorithm for Low-rank Matrix Approximations

Hao Ji, Wenjian Yu+1 more|arXiv (Cornell University)|May 26, 2016

Sparse and Compressive Sensing Techniques参考文献 6被引用 16

一句话总结

该论文提出R3SVD，一种揭示秩的随机SVD算法，通过自适应估计最优秩，利用正交高斯采样逐步构建低秩矩阵近似。该方法在保持恒定内存使用的同时实现了高精度，在图像压缩和矩阵补全任务中表现出色。

ABSTRACT

In this paper, we present a Rank Revealing Randomized Singular Value Decomposition (R3SVD) algorithm to incrementally construct a low-rank approximation of a potentially large matrix while adaptively estimating the appropriate rank that can capture most of the actions of the matrix. Starting from a low-rank approximation with an initial guessed rank, R3SVD adopts an orthogonal Gaussian sampling approach to obtain the dominant subspace within the leftover space, which is used to add up to the existing low-rank approximation. Orthogonal Gaussian sampling is repeated until an appropriate low-rank approximation with satisfactory accuracy, measured by the overall energy percentage of the original matrix, is obtained. While being a fast algorithm, R3SVD is also a memory-aware algorithm where the computational process can be decomposed into a series of sampling tasks that use constant amount of memory. Numerical examples in image compression and matrix completion are used to demonstrate the effectiveness of R3SVD in low-rank approximation.

研究动机与目标

• 开发一种快速且内存高效的低秩矩阵近似算法，可自适应确定合适的秩。
• 解决在缺乏矩阵秩先验知识的情况下选择最优低秩近似的挑战。
• 在最小化计算和内存开销的同时，保持低秩近似的高精度。
• 通过内存感知的方式，利用正交高斯采样实现低秩近似的增量构建。
• 在图像压缩和矩阵补全等实际应用中展示其有效性。

提出的方法

• R3SVD从基于猜测秩的初始低秩近似开始。
• 通过正交高斯采样识别残差（剩余）矩阵中的主导子空间。
• 将新识别出的子空间添加到现有近似中，逐步提高精度。
• 该过程迭代重复，直至近似捕获原始矩阵能量的足够百分比。
• 正交高斯采样确保数值稳定，并以恒定内存使用实现高效的子空间检测。
• 当近似捕获的原始矩阵能量百分比达到预设阈值时，算法自适应终止。

实验结果

研究问题

• RQ1 如何在缺乏矩阵秩先验知识的情况下，自适应地构建低秩矩阵近似？
• RQ2 何种采样策略能够在增量低秩近似中同时实现高精度与恒定内存使用？
• RQ3 正交高斯采样是否能有效揭示迭代优化过程中残差矩阵中的主导子空间？
• RQ4 在实际应用中，R3SVD与现有随机SVD方法相比，在精度和效率方面表现如何？
• RQ5 在大规模矩阵问题中，R3SVD在实现高能量捕获的同时，能在多大程度上实现极小的内存占用？

主要发现

• R3SVD通过基于能量捕获的自适应最优秩估计，实现了高精度的低秩近似。
• 该算法在整个计算过程中保持恒定的内存使用，适用于大规模矩阵。
• 图像压缩中的数值实验表明，与基线方法相比，R3SVD能以更少的分量保留更高的图像质量。
• 在矩阵补全任务中，R3SVD表现出具有竞争力的性能，具有更快的收敛速度和更低的误差率。
• 正交高斯采样使残差空间中的稳定且高效的子空间检测成为可能。
• 当近似捕获了用户定义的原始矩阵能量百分比时，算法终止，从而确保所需的精度。