[论文解读] Integrating multiple random sketches for singular value decomposition

Ting‐Li Chen, Dawei D. Chang+4 more|arXiv (Cornell University)|Aug 29, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用 10

一句话总结

该论文提出了一种集成的随机SVD算法，通过整合多个随机投影来提升低秩矩阵逼近的精度并减少随机波动。通过在Stiefel流形上对多个投影子空间进行Kolmogorov-Nagumo型平均，求解带约束的优化问题，该方法在一致性和收敛速度方面优于单重投影的随机SVD。

ABSTRACT

The singular value decomposition (SVD) of large-scale matrices is a key tool in data analytics and scientific computing. The rapid growth in the size of matrices further increases the need for developing efficient large-scale SVD algorithms. Randomized SVD based on one-time sketching has been studied, and its potential has been demonstrated for computing a low-rank SVD. Instead of exploring different single random sketching techniques, we propose a Monte Carlo type integrated SVD algorithm based on multiple random sketches. The proposed integration algorithm takes multiple random sketches and then integrates the results obtained from the multiple sketched subspaces. So that the integrated SVD can achieve higher accuracy and lower stochastic variations. The main component of the integration is an optimization problem with a matrix Stiefel manifold constraint. The optimization problem is solved using Kolmogorov-Nagumo-type averages. Our theoretical analyses show that the singular vectors can be induced by population averaging and ensure the consistencies between the computed and true subspaces and singular vectors. Statistical analysis further proves a strong Law of Large Numbers and gives a rate of convergence by the Central Limit Theorem. Preliminary numerical results suggest that the proposed integrated SVD algorithm is promising.

研究动机与目标

• 解决大规模矩阵中单重随机投影随机SVD存在的高随机波动和精度有限的问题。
• 设计一种类似蒙特卡洛的算法，利用多个独立的随机投影来改进子空间估计。
• 通过总体平均方法确保计算出的奇异子空间和向量与真实子空间之间具有理论一致性。
• 通过集成方法降低方差并提高低秩SVD逼近的收敛速度。
• 提供一个基于统计学原理的框架，通过在Stiefel流形上优化实现多个投影子空间的集成。

提出的方法

• 提出一种集成SVD（iSVD）算法，使用独立同分布的高斯投影对输入矩阵A生成多个随机投影。
• 在Stiefel流形上建立约束优化问题，以寻找能最佳表示多个投影子空间的最优子空间。
• 通过在Stiefel流形上迭代求解Kolmogorov-Nagumo型平均，对多个独立采样的子空间进行平均。
• 采用总体平均论证，证明随着投影数量增加，集成子空间会收敛到真实的主导子空间。
• 利用大数定律和中心极限定理，推导出奇异向量和子空间的收敛性保证。
• 通过将矩阵A投影到集成子空间上，并对降维后的矩阵执行SVD，来实现低秩SVD的计算。

实验结果

研究问题

• RQ1 与单重投影方法相比，集成多个随机投影是否能显著降低低秩SVD逼近中的随机波动？
• RQ2 通过Stiefel流形优化集成多个投影子空间，是否能实现对真实主导子空间和奇异向量的一致性估计？
• RQ3 集成SVD算法的收敛速率如何？是否能通过大数定律和中心极限定理等概率规律进行刻画？
• RQ4 在Stiefel流形上采用Kolmogorov-Nagumo型平均，如何提升计算出的奇异向量的稳定性和准确性？
• RQ5 该集成框架能否推广到其他问题，如特征值问题或张量分解？

主要发现

• 当使用N=200个投影时，iSVD在2^19 × 2^20的矩阵上达到Frobenius范数误差1.95e-02（标准差6.30e-05），显著低于rSVD在ℓ=22时的误差1.90e-01（标准差1.39e-02）。
• 该算法在奇异向量上表现出强大数定律，确保随着投影数量增加，其收敛于真实子空间。
• 中心极限定理建立了奇异向量的收敛速率，量化了估计的精度。
• 理论分析证实，奇异向量可通过总体平均诱导，将集成结果与真实潜在结构联系起来。
• 数值结果表明，iSVD在不同矩阵规模和采样维度下，均能有效降低随机波动并提升精度，优于单重投影随机SVD。
• 该方法具有可扩展性，适合并行化处理：N个投影可独立处理，集成步骤也可在多核或GPU架构上并行执行。