[论文解读] An implementation of a randomized algorithm for principal component analysis

Arthur Szlam, Yuval Kluger+1 more|arXiv (Cornell University)|Dec 11, 2014

Face and Expression Recognition参考文献 9被引用 34

一句话总结

本文提出了一种稳健、用户友好的 MATLAB 实现，用于主成分分析（PCA）和低秩 SVD 近似的随机化算法。该方法利用随机投影高效计算高精度的低秩近似，在速度、内存使用和易用性方面优于经典的 Lanzcos 和 lansvd 方法，同时在默认参数下保持高精度。

ABSTRACT

Recent years have witnessed intense development of randomized methods for low-rank approximation. These methods target principal component analysis (PCA) and the calculation of truncated singular value decompositions (SVD). The present paper presents an essentially black-box, fool-proof implementation for Mathworks' MATLAB, a popular software platform for numerical computation. As illustrated via several tests, the randomized algorithms for low-rank approximation outperform or at least match the classical techniques (such as Lanczos iterations) in basically all respects: accuracy, computational efficiency (both speed and memory usage), ease-of-use, parallelizability, and reliability. However, the classical procedures remain the methods of choice for estimating spectral norms, and are far superior for calculating the least singular values and corresponding singular vectors (or singular subspaces).

研究动机与目标

• 开发一种可靠、易于使用的 MATLAB 实现，用于 PCA 和 SVD 中的低秩近似随机化算法。
• 将所提出的实现与成熟的经典方法（如 lansvd 和 MATLAB 内置的 svds）进行性能基准测试。
• 证明随机化算法在极少参数调优的情况下，相比经典迭代方法，能实现更高的计算效率和精度。
• 强调经典方法在处理小奇异值和对应奇异向量时的局限性，此时它们仍表现更优。
• 提供一种可直接投入生产的、防错的实现，适用于科学和工程应用中的通用场景。

提出的方法

• 使用具有独立同分布高斯元素的随机投影矩阵来采样输入矩阵 A 的列空间，从而实现高效的低秩近似。
• 采用双边投影：将 A 作用于随机向量以生成一个几乎张成 A 列空间的基 Q，然后计算 B = Q* A 以降低维度。
• 对较小的矩阵 B = Q* A 执行 SVD，以计算 Σ 和 V*，然后通过 U = QW 重构，形成完整的低秩 SVD 近似 A ≈ UΣV*。
• 通过超采样（l = k + 2）和幂迭代来增强精度和稳定性，尤其适用于奇异值聚集或接近的矩阵。
• 以谱范数误差为主要指标评估精度，比较原始矩阵 A 与其低秩近似之间的差异。
• 使用佛罗里达大学稀疏矩阵库中的真实世界矩阵进行验证，测试了不同维度和秩的稠密与稀疏情形。

实验结果

研究问题

• RQ1 能否在 MATLAB 中实现一种用于低秩 SVD 和 PCA 的随机化算法，使其在性能和可靠性方面优于经典方法？
• RQ2 所提出的随机化实现与 lansvd 和 MATLAB 内置的 svds 在稠密和稀疏矩阵上的精度和速度相比如何？
• RQ3 随机化算法的默认参数设置在多大程度上能确保高精度而无需用户调优，这与理论分析的保证是否一致？
• RQ4 为何经典方法如 lansvd 在某些条件下会无声失败并返回错误结果，而所提出的实现如何避免此类陷阱？
• RQ5 在哪些场景下经典方法仍优于随机化算法，特别是在计算小奇异值及其对应奇异向量方面？

主要发现

• 在所有测试矩阵和参数设置下，随机化算法的谱范数误差始终控制在最佳可能误差的两倍以内。
• 对于稠密矩阵，所提出的实现（pca）在无需参数调优的情况下，无论在速度还是精度上均优于 lansvd。
• 对于稀疏矩阵，随机化方法（pca）在性能上与 svds 和 lansvd 相当或更优，且具备可靠的收敛性，无无声失败问题。
• 与经典迭代方法相比，该实现展现出更优的可并行化能力和内存效率，尤其在大规模问题上表现更佳。
• 尽管有强有力的理论保证，经典方法如 lansvd 仍被发现会无声地返回完全错误的结果，严重损害其实际可靠性。
• 随机化方法被证明比经典方案更具鲁棒性且更易使用，后者需要仔细调优，且对输入结构和奇异值间隔敏感。