[论文解读] A Comparison of Preconditioned Krylov Subspace Methods for Large-Scale Nonsymmetric Linear Systems

Aditi Ghai, Cao Lu+1 more|arXiv (Cornell University)|Jul 1, 2016

Matrix Theory and Algorithms参考文献 14被引用 5

一句话总结

该论文比较了预处理共轭梯度子空间方法——GMRES、TFQMR、BiCGSTAB 和 QMRCGSTAB——与高斯-赛德尔、ILU 类型（ILUT、ILUTP、多层 ILU）、代数多重网格（BoomerAMG、ML）预处理子在偏微分方程（PDE）产生的大规模非对称线性系统中的表现。研究发现，对于病态或复杂问题，使用多层 ILU 或 BoomerAMG 的 GMRES 表现最佳；QMRCGSTAB 的收敛过程比 BiCGSTAB 更平滑，且右预处理整体上更有效。

ABSTRACT

Preconditioned Krylov subspace (KSP) methods are widely used for solving large-scale sparse linear systems arising from numerical solutions of partial differential equations (PDEs). These linear systems are often nonsymmetric due to the nature of the PDEs, boundary or jump conditions, or discretization methods. While implementations of preconditioned KSP methods are usually readily available, it is unclear to users which methods are the best for different classes of problems. In this work, we present a comparison of some KSP methods, including GMRES, TFQMR, BiCGSTAB, and QMRCGSTAB, coupled with three classes of preconditioners, namely Gauss-Seidel, incomplete LU factorization (including ILUT, ILUTP, and multilevel ILU), and algebraic multigrid (including BoomerAMG and ML). Theoretically, we compare the mathematical formulations and operation counts of these methods. Empirically, we compare the convergence and serial performance for a range of benchmark problems from numerical PDEs in 2D and 3D with up to millions of unknowns and also assess the asymptotic complexity of the methods as the number of unknowns increases. Our results show that GMRES tends to deliver better performance when coupled with an effective multigrid preconditioner, but it is less competitive with an ineffective preconditioner due to restarts. BoomerAMG with proper choice of coarsening and interpolation techniques typically converges faster than ML, but both may fail for ill-conditioned or saddle-point problems while multilevel ILU tends to succeed. We also show that right preconditioning is more desirable. This study helps establish some practical guidelines for choosing preconditioned KSP methods and motivates the development of more effective preconditioners.

研究动机与目标

• 为从偏微分方程（PDE）中产生的大规模非对称线性系统中选择预处理共轭梯度子空间方法提供实用指导。
• 评估 GMRES、TFQMR、BiCGSTAB 和 QMRCGSTAB 在包含数百万个未知数的多样化基准问题上的收敛性与串行性能。
• 比较三类预处理子：高斯-赛德尔、ILU 变体（ILUT、ILUTP、多层 ILU）以及代数多重网格（BoomerAMG、ML）与 KSP 求解器的组合。
• 评估预处理子质量以及右预处理与左预处理对求解器效率与鲁棒性的影响。
• 识别现有方法的局限性，并为未来预处理子开发（特别是鞍点问题与病态问题）提出方向。

提出的方法

• 通过实验比较四种 KSP 求解器（GMRES、TFQMR、BiCGSTAB、QMRCGSTAB）在二维和三维 PDE 基准问题上的收敛性与串行性能，问题规模达数百万个未知数。
• 在所有求解器组合中使用三类预处理子：高斯-赛德尔、基于 ILU 的（ILUT、ILUTP、多层 ILU）以及代数多重网格（BoomerAMG、ML）。
• 分析各类方法与预处理子组合的理论方面，包括数学公式、运算量与存储需求。
• 以右预处理为主要策略，证明其在收敛性与稳定性方面优于左预处理。
• 评估问题规模增大时的渐近复杂度，重点关注可扩展性与性能趋势。
• 使用 PETSc 与自定义实现进行求解器与预处理子测试，聚焦串行性能以隔离方法行为。

实验结果

研究问题

• RQ1 在与不同预处理子组合时，GMRES、TFQMR、BiCGSTAB 或 QMRCGSTAB 中哪一种共轭梯度子空间方法在大规模非对称系统中表现出最佳收敛性与性能？
• RQ2 预处理子的选择（高斯-赛德尔、ILU 或代数多重网格）如何影响病态或鞍点问题中 Krylov 求解器的收敛性与效率？
• RQ3 多层 ILU 与 BoomerAMG 和 ML 作为 GMRES 及其他 KSP 方法的预处理子时，其相对性能如何？
• RQ4 为何重启的 GMRES 在预处理子效果不佳时表现欠佳？与其他方法相比有何差异？
• RQ5 在收敛鲁棒性与计算成本方面，使用右预处理与左预处理的实际影响是什么？

主要发现

• 使用多层 ILU 或 BoomerAMG 预处理子的 GMRES 在病态或复杂 PDE 问题中表现出更优的收敛性与性能，尤其在使用有效平滑子时效果更显著。
• BoomerAMG 在采用合适的粗化与插值技术时收敛速度优于 ML，但两者在鞍点或病态系统中均失效，而多层 ILU 仍保持鲁棒性。
• QMRCGSTAB 的收敛过程比 BiCGSTAB 更平滑，且额外开销可忽略不计，但其在标准库（如 PETSc 或 MATLAB）中不可用。
• 右预处理始终比左预处理更有效，尤其在稳定困难问题的收敛性方面表现更优。
• 对于大规模问题，ILUTP 因参数调优困难而可靠性较低，而多层 ILU 更鲁棒，但缺乏高效的并行实现。
• 多层 ILU 是非对称系统中最鲁棒的预处理子，但在大规模问题中效率低于多重网格方法。