[论文解读] Fast & Accurate Randomized Algorithms for Linear Systems and Eigenvalue Problems

Yuji Nakatsukasa, Joel A. Tropp|arXiv (Cornell University)|Oct 29, 2021

Stochastic Gradient Optimization Techniques参考文献 49被引用 4

一句话总结

本论文通过将子空间投影方法（如GMRES和瑞利-里茨法）与随机化压缩技术相结合，提出了一类快速且精确的随机算法，用于求解线性系统和特征值问题。该方法通过使用高效构建的近似子空间加速计算，在MATLAB的gmres上实现最高达100倍的加速，在eigs上实现10倍加速，同时保持了极低的精度损失。

ABSTRACT

This paper develops a new class of algorithms for general linear systems and eigenvalue problems. These algorithms apply fast randomized sketching to accelerate subspace projection methods, such as GMRES and Rayleigh--Ritz. This approach offers great flexibility in designing the basis for the approximation subspace, which can improve scalability in many computational environments. The resulting algorithms outperform the classic methods with minimal loss of accuracy. For model problems, numerical experiments show large advantages over MATLAB's optimized routines, including a $100 imes$ speedup over gmres and a $10 imes$ speedup over eigs.

研究动机与目标

• 解决通用非对称线性系统和特征值问题中缺乏可扩展且精确的随机算法的问题。
• 克服经典Krylov子空间方法（如GMRES）在几十轮迭代后因高正交化成本而产生的计算瓶颈。
• 开发一种灵活的框架，实现近似子空间的快速构建，同时保持解的精度。
• 在通信开销占主导地位的现代高性能计算与分布式计算环境中实现高效计算。
• 通过展示经压缩适配的基底可产生高精度结果，为预条件化和基底生成提供新视角。

提出的方法

• 将随机化压缩应用于子空间投影方法（如GMRES和瑞利-里茨法），以基于压缩的近似替代完整的正交化过程。
• 使用大小为 s = 2d 的压缩矩阵 S ∈ ℂ^{s×n}，以降低残差最小化问题的维度，从而求解更小规模的压缩最小二乘问题。
• 将压缩的GMRES（sGMRES）和压缩的瑞利-里茨法（sRR）问题表述为最小化 ||S(AB y − f)||₂，其中 B 是近似子空间的基矩阵。
• 利用快速压缩矩阵（如SRFT或稀疏映射）实现 O(nd log d) 的运算复杂度，避免昂贵的完整矩阵运算。
• 通过公式 Â_sketch = AB (SAB)† (SA) 将压缩技术集成到低秩矩阵逼近中，实现稳定高效的计算，时间复杂度为 O(d³ + (m+n)d log d)。
• 使用经适配的基底（如块Krylov或子空间迭代生成的基底）替代随机基底，使精度与随机子空间迭代或块Krylov方法相当。

实验结果

研究问题

• RQ1 随机化压缩能否有效与GMRES和瑞利-里茨等子空间投影方法结合，以加速求解一般线性系统？
• RQ2 在基于压缩的求解器中，使用经适配的基底 B 而非随机基底，对精度和效率有何影响？
• RQ3 压缩技术在多大程度上可降低Krylov子空间方法的计算成本，而不牺牲解的精度？
• RQ4 压缩技术能否在分布式或GPU加速环境中实现可扩展且通信高效的实现？
• RQ5 当使用截断或不精确基底时，所得算法的数值稳定性和条件数特性如何？

主要发现

• 所提出的sGMRES和sRR算法在模型问题上相比MATLAB内置的gmres例程最高实现100倍加速，且残差精度相当。
• sRR算法相比MATLAB的eigs函数实现10倍加速，同时保持了与标准方法相近的解精度。
• 在压缩框架中使用经适配的基底 B（如来自块Krylov或子空间迭代的基底）可产生与随机子空间迭代或块Krylov方法相近的矩阵逼近误差。
• 该方法可在不遭遇经典GMRES在约10–50轮迭代后出现的正交化瓶颈的情况下，支持数千轮sGMRES迭代。
• 由于通信和消息传递开销低，该框架支持在现代计算架构（包括GPU和分布式系统）上的高效实现。
• 理论保证表明，只要基底能捕捉到良好的近似解，压缩解的残差范数将不超过原问题残差的常数倍（≤6倍）。