[论文解读] Alternating Anderson-Richardson method: An efficient alternative to preconditioned Krylov methods for large, sparse linear systems

Phanish Suryanarayana, Phanisri P. Pratapa+1 more|arXiv (Cornell University)|Jun 27, 2016

Matrix Theory and Algorithms被引用 4

一句话总结

该论文提出了一种交替安德森-理查森（AAR）方法，这是一种预处理Krylov类方法，通过在预处理理查森迭代中引入安德森外推法，加速大规模稀疏线性系统的收敛。与GMRES、Bi-CGSTAB和CG相比，AAR在大规模计算中展现出更优的强弱可扩展性，尤其在大规模场景下，对于采用雅可比预条件的泊松问题，求解时间最高可减少1.91倍（在110,592个核心上）。

ABSTRACT

We present the Alternating Anderson-Richardson (AAR) method: an efficient and scalable alternative to preconditioned Krylov solvers for the solution of large, sparse linear systems on high performance computing platforms. Specifically, we generalize the recently proposed Alternating Anderson-Jacobi (AAJ) method (Pratapa et al., J. Comput. Phys. (2016), 306, 43--54) to include preconditioning, discuss efficient parallel implementation, and provide serial MATLAB and parallel C/C++ implementations. In serial applications to nonsymmetric systems, we find that AAR is comparably robust to GMRES, using the same preconditioning, while often outperforming it in time to solution; and find AAR to be more robust than Bi-CGSTAB for the problems considered. In parallel applications to the Helmholtz and Poisson equations, we find that AAR shows superior strong and weak scaling to GMRES, Bi-CGSTAB, and Conjugate Gradient (CG) methods, using the same preconditioning, with consistently shorter times to solution at larger processor counts. Finally, in massively parallel applications to the Poisson equation, on up to 110,592 processors, we find that AAR shows superior strong and weak scaling to CG, with shorter minimum time to solution. We thus find that AAR offers a robust and efficient alternative to current state-of-the-art solvers, with increasing advantages as the number of processors grows.

研究动机与目标

• 解决传统Krylov求解器（如GMRES和CG）在高性能计算中因全局通信瓶颈导致的并行可扩展性受限问题。
• 克服经典理查森和雅可比迭代收敛缓慢的缺点，同时保持其固有的并行局部性。
• 开发一种可扩展、鲁棒且通用的迭代求解器，适用于对称与非对称大规模稀疏线性系统。
• 证明将安德森外推法与预处理理查森迭代结合，可在大规模计算中实现优于当前最先进Krylov方法的性能。
• 实现计算密集型应用（如电子结构和量子分子动力学）中重复求解大规模稀疏线性系统的高效求解。

提出的方法

• 将交替安德森-雅可比（AAJ）方法推广至包含预处理，形成交替安德森-理查森（AAR）方法。
• 在预处理理查森迭代中周期性地应用安德森外推法，以加速收敛，同时严格保持计算局部性。
• 采用简单的雅可比预条件器，以确保高并行可扩展性并避免通信瓶颈。
• 在串行MATLAB和并行C/C++（使用MPI）中实现该方法，适用于高性能计算平台。
• 利用安德森外推法与GMRES之间的联系，实现类似Krylov的收敛速率，而无需全局操作。
• 通过避免除残差计算外的点积运算，保持计算简单性和数据局部性，从而在数千个核心上实现高效分布。

实验结果

研究问题

• RQ1 安德森外推法是否能显著加速预处理理查森迭代的收敛，同时保持其并行可扩展性？
• RQ2 在大规模并行架构上，AAR方法在求解时间与可扩展性行为方面与GMRES、Bi-CGSTAB和CG相比如何？
• RQ3 随着处理器数量增加，AAR方法是否在强可扩展性和弱可扩展性场景下均保持优越性能？
• RQ4 在涉及大规模稀疏线性系统重复求解的超大规模并行应用中，AAR是否能超越当前最先进的Krylov求解器？
• RQ5 通信效率低下对AAR和CG的可扩展性行为有何影响？AAR在大规模下如何缓解此问题？

主要发现

• 在最多110,592个处理器上，对于采用雅可比预条件的泊松方程，AAR的最小运行时间比CG快1.91倍。
• AAR在泊松问题上表现出弱可扩展性𝒪(N¹.⁰¹)，优于CG在大规模核心数下的𝒪(N¹.⁰⁷)可扩展性。
• 在强可扩展性方面，AAR在高处理器数量下持续优于GMRES、Bi-CGSTAB和CG，求解时间始终更短。
• 对于非对称系统，AAR在相同预条件下的鲁棒性与GMRES相当，且通常在求解时间上表现更优。
• AAR在所考虑的测试问题中表现出优于Bi-CGSTAB的收敛鲁棒性。
• 随着处理器数量增加，AAR相对于Krylov求解器的优势持续显现，表明其在百亿亿次计算和未来HPC环境中的日益重要性。