[论文解读] Efficient randomized algorithms for adaptive low-rank factorizations of large matrices.

Yu Gu, Wenjian Yu+1 more|arXiv (Cornell University)|Jun 30, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用 9

一句话总结

本文提出两种高效的随机化算法，randQB_EI 和 randQB_FP，用于大规模矩阵的自适应低秩分解。基于分块 randQB 方案，它们通过采用经济型误差指标和矩阵移出循环的优化策略，实现了卓越的计算效率和遍历效率，使大型稀疏矩阵的运行时间和内存使用量最高减少 20 倍，同时保持精度并实现接近最优的秩，误差容限由用户定义为 ε。

ABSTRACT

In this paper, randomized techniques for computing low-rank factorizations are presented. The proposed methods take in a tolerance $\varepsilon$ and an $m imes n$ matrix $\boldsymbol{A}$, and output an approximate low-rank factorization of $\boldsymbol{A}$, whose error measured in the Frobenius norm is within $\varepsilon$. The techniques are based on the blocked randQB scheme proposed by P.-G. Martinsson and S. Voronin, producing a QB factorization. By employing an economic error indicator and moving $\boldsymbol{A}$ out of the loop, the techniques result in two algorithms called randQB_EI and randQB_FP. They are mathematically equivalent to the existing blocked scheme, but are more computationally efficient. The randQB_FP algorithm also owns the merit of pass-efficiency. Numerical experiments on a multi-core parallel computing server show that the proposed algorithms have the similar accuracy as the blocked randQB scheme, but cost a small fraction of runtime and memory. The benefits are even larger (up to 20X) for handling large sparse matrices. Compared with the adaptive range finder algorithm, the proposed methods output much smaller and close to optimal rank while satisfying the preset accuracy tolerance.

研究动机与目标

• 开发在用户指定误差容限 ε 下，针对大规模矩阵自适应低秩分解的计算高效算法。
• 通过算法优化，改进现有分块 randQB 方案，降低计算开销和内存使用。
• 在矩阵分解中实现遍历效率，以有效处理大规模和稀疏矩阵。
• 在满足预设误差容限的前提下，使所得分解的秩尽可能接近最优。
• 通过优化内存访问和减少计算循环，提升多核系统上的性能。

提出的方法

• 所提出的算法通过引入经济型误差指标，扩展了分块 randQB 方案，以避免冗余计算。
• 将矩阵 A 移出主计算循环，减少内存访问，提升缓存效率。
• randQB_EI 算法使用误差指标，动态评估近似质量，而无需重新计算完整残差。
• randQB_FP 算法通过实现遍历效率进一步提升效率，支持处理超出主内存容量的矩阵。
• 两种算法在保持与原始分块 randQB 方案数学等价性的同时，提升了性能。
• 方法依赖于随机采样和基于 QR 的列选择，以构建具有受控 Frobenius 范数误差的 QB 分解。

实验结果

研究问题

• RQ1 自适应低秩分解的计算成本能否在不牺牲精度的前提下显著降低？
• RQ2 如何优化分块 randQB 方案，以在大规模矩阵分解中降低内存使用和运行时间？
• RQ3 在稀疏和大规模矩阵的随机化低秩分解中，遍历效率能在多大程度上实现？
• RQ4 能否使所得分解的秩更接近最优，同时仍满足误差容限 ε？
• RQ5 所提出的算法在性能和精度上与自适应范围查找器及原始分块 randQB 方案相比如何？

主要发现

• randQB_EI 和 randQB_FP 算法在保持与分块 randQB 方案相似精度的同时，将运行时间和内存使用量降低到原始值的小部分。
• 对于大型稀疏矩阵，所提算法相比分块 randQB 方案最高实现 20 倍的加速。
• 这些算法生成的分解秩远比自适应范围查找器更接近最优，同时仍满足用户定义的误差容限 ε。
• randQB_FP 变体展示了遍历效率，可有效处理超出主内存容量的矩阵。
• 经济型误差指标的使用成功降低了计算开销，而未损害精度。
• 在多核服务器上的数值实验验证了所提方法在各种矩阵规模和稀疏度水平下的可扩展性和鲁棒性。