[論文レビュー] A Comparison of Preconditioned Krylov Subspace Methods for Large-Scale Nonsymmetric Linear Systems

Aditi Ghai, Cao Lu+1 more|arXiv (Cornell University)|Jul 1, 2016

Matrix Theory and Algorithms参考文献 14被引用数 5

ひとこと要約

この論文は、偏微分方程式（PDE）から生じる大規模な非対称線形系に対して、ガウス＝ザイデル、ILU型（ILUT、ILUTP、多重レベルILU）、および代数多重グリッド（BoomerAMG、ML）の前処理を組み合わせた、前処理付きクリロフ部分空間法（GMRES、TFQMR、BiCGSTAB、QMRCGSTAB）を比較している。ill-conditioned または複雑な問題に対しては、多重レベルILUまたはBoomerAMGを前処理として用いたGMRESが最良の性能を示す。QMRCGSTABはBiCGSTABよりも滑らかな収束を示すが、追加コストは最小限である。一方、右前処理は全体的に左前処理よりも効果的であることが判明した。

ABSTRACT

Preconditioned Krylov subspace (KSP) methods are widely used for solving large-scale sparse linear systems arising from numerical solutions of partial differential equations (PDEs). These linear systems are often nonsymmetric due to the nature of the PDEs, boundary or jump conditions, or discretization methods. While implementations of preconditioned KSP methods are usually readily available, it is unclear to users which methods are the best for different classes of problems. In this work, we present a comparison of some KSP methods, including GMRES, TFQMR, BiCGSTAB, and QMRCGSTAB, coupled with three classes of preconditioners, namely Gauss-Seidel, incomplete LU factorization (including ILUT, ILUTP, and multilevel ILU), and algebraic multigrid (including BoomerAMG and ML). Theoretically, we compare the mathematical formulations and operation counts of these methods. Empirically, we compare the convergence and serial performance for a range of benchmark problems from numerical PDEs in 2D and 3D with up to millions of unknowns and also assess the asymptotic complexity of the methods as the number of unknowns increases. Our results show that GMRES tends to deliver better performance when coupled with an effective multigrid preconditioner, but it is less competitive with an ineffective preconditioner due to restarts. BoomerAMG with proper choice of coarsening and interpolation techniques typically converges faster than ML, but both may fail for ill-conditioned or saddle-point problems while multilevel ILU tends to succeed. We also show that right preconditioning is more desirable. This study helps establish some practical guidelines for choosing preconditioned KSP methods and motivates the development of more effective preconditioners.

研究の動機と目的

• PDEから生じる大規模非対称線形系における、前処理付きクリロフ部分空間法の実用的選定ガイドラインを確立すること。
• 最大数百万の未知数を含む多様なベンチマーク問題において、GMRES、TFQMR、BiCGSTAB、QMRCGSTABの収束性およびシリアル性能を評価すること。
• ガウス＝ザイデル、ILUの変種（ILUT、ILUTP、多重レベルILU）、代数多重グリッド（BoomerAMG、ML）という3つの前処理クラスを、KSPソルバと組み合わせて比較すること。
• 前処理の品質および右前処理対左前処理の違いが、ソルバの効率性およびロバスト性に与える影響を評価すること。
• 既存手法の限界を特定し、特に鞍点問題やill-conditioned問題に対する今後の前処理開発の方向性を示唆すること。

提案手法

• 最大数百万の未知数を含む2次元および3次元PDEベンチマーク問題において、4つのKSPソルバ（GMRES、TFQMR、BiCGSTAB、QMRCGSTAB）の収束性およびシリアル性能を実験的に比較した。
• ガウス＝ザイデル、ILUベース（ILUT、ILUTP、多重レベルILU）、代数多重グリッド（BoomerAMG、ML）という3つの前処理クラスを、すべてのソルバ組み合わせに適用した。
• 各手法および前処理ペアの数学的定式化、演算回数、記憶要件といった理論的側面を分析した。
• 右前処理を主な戦略として採用し、収束性および安定性において左前処理を上回ることを実証した。
• 問題サイズが増大するに従う漸近的複雑度を評価し、スケーラビリティおよび性能トレンドに注目した。
• PETScおよびカスタム実装を用いてソルバおよび前処理のテストを実施し、メソドロジーの挙動を隔離するためにシリアル性能に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 大規模非対称系に対して、異なる前処理を組み合わせた場合に、GMRES、TFQMR、BiCGSTAB、QMRCGSTABのうち、どのクリロフ部分空間法が最も優れた収束性および性能を示すか？
• RQ2 ガウス＝ザイデル、ILU、または代数多重グリッドという前処理の選択が、ill-conditioned または鞍点問題におけるクリロフソルバの収束性および効率性にどのように影響するか？
• RQ3 GMRESおよび他のKSP法において、多重レベルILUとBoomerAMGおよびMLの相対的性能はどのようになるか？
• RQ4 なぜリスタート付きGMRESは効果のない前処理では性能を発揮しないのか？他の手法と比較するとどうなるか？
• RQ5 収束のロバスト性および計算コストという観点から、右前処理と左前処理を使用する際の実用的影響は何か？

主な発見

• ill-conditioned または複雑なPDE問題に対しては、多重レベルILUまたはBoomerAMGを前処理として用いたGMRESが、優れた収束性および性能を示す。特に効果的なスムージングが用いられた場合に顕著である。
• 適切なコarseningおよび補間技術を用いたBoomerAMGはMLを上回る収束速度を示すが、両者とも鞍点問題やill-conditioned系では失敗する。一方、多重レベルILUは依然としてロバストである。
• QMRCGSTABはBiCGSTABよりも滑らかな収束を示し、追加コストは最小限であるが、PETSc や MATLAB といった標準ライブラリには実装されていない。
• 右前処理は、困難な問題において収束性の安定性を高めるなど、一貫して左前処理よりも効果的である。
• 大規模問題では、ILUTPはパラメータチューニングの難しさから信頼性が低い。一方、多重レベルILUはよりロバストであるが、効率的な並列実装が不足している。
• 非対称系に対しては、多重レベルILUが最もロバストな前処理であるが、大規模問題では多重グリッド手法に効率面で劣る。