[논문 리뷰] A Comparison of Preconditioned Krylov Subspace Methods for Large-Scale Nonsymmetric Linear Systems

Aditi Ghai, Cao Lu외 1명|arXiv (Cornell University)|2016. 07. 01.

Matrix Theory and Algorithms참고 문헌 14인용 수 5

한 줄 요약

이 논문은 PDE에서 유도된 대규모 비대칭 선형계를 위한 조건부 Krylov 부분공간 방법—GMRES, TFQMR, BiCGSTAB, QMRCGSTAB—과 가우스-seidel, ILU 유형(ILLUT, ILUTP, 다수준 ILU), 그리고 대수적 다중격자(BoomerAMG, ML) 조건부 방법을 비교한다. 결과적으로, 불량 조건 또는 복잡한 문제에서는 다수준 ILU 또는 BoomerAMG를 사용한 GMRES가 가장 우수한 성능을 보이며, QMRCGSTAB는 BiCGSTAB보다 더 매끄러운 수렴을 보이고, 오른쪽 조건부 방법이 전반적으로 더 효과적임을 확인하였다.

ABSTRACT

Preconditioned Krylov subspace (KSP) methods are widely used for solving large-scale sparse linear systems arising from numerical solutions of partial differential equations (PDEs). These linear systems are often nonsymmetric due to the nature of the PDEs, boundary or jump conditions, or discretization methods. While implementations of preconditioned KSP methods are usually readily available, it is unclear to users which methods are the best for different classes of problems. In this work, we present a comparison of some KSP methods, including GMRES, TFQMR, BiCGSTAB, and QMRCGSTAB, coupled with three classes of preconditioners, namely Gauss-Seidel, incomplete LU factorization (including ILUT, ILUTP, and multilevel ILU), and algebraic multigrid (including BoomerAMG and ML). Theoretically, we compare the mathematical formulations and operation counts of these methods. Empirically, we compare the convergence and serial performance for a range of benchmark problems from numerical PDEs in 2D and 3D with up to millions of unknowns and also assess the asymptotic complexity of the methods as the number of unknowns increases. Our results show that GMRES tends to deliver better performance when coupled with an effective multigrid preconditioner, but it is less competitive with an ineffective preconditioner due to restarts. BoomerAMG with proper choice of coarsening and interpolation techniques typically converges faster than ML, but both may fail for ill-conditioned or saddle-point problems while multilevel ILU tends to succeed. We also show that right preconditioning is more desirable. This study helps establish some practical guidelines for choosing preconditioned KSP methods and motivates the development of more effective preconditioners.

연구 동기 및 목표

• PDE에서 유도된 대규모 비대칭 선형계에 대한 조건부 Krylov 부분공간 방법 선택에 실용적인 지침을 수립하기 위해.
• GMRES, TFQMR, BiCGSTAB, QMRCGSTAB의 수렴성과 순차적 성능을 수백만 개의 미지수를 포함하는 다양한 벤치마크 문제에서 평가하기 위해.
• 세 가지 유형의 조건부 방법—가우스-세이델, ILU 변형(ILUT, ILUTP, 다수준 ILU), 대수적 다중격자(BoomerAMG, ML)—을 KSP 솔버와 조합하여 비교하기 위해.
• 조건부 방법의 품질과 오른쪽 조건부 vs. 왼쪽 조건부 방법이 솔버 효율성과 안정성에 미치는 영향을 평가하기 위해.
• 기존 방법의 한계를 규명하고, 특히 안장점 문제나 불량 조건 문제에 대해 향후 조건부 방법 개발 방향을 제안하기 위해.

제안 방법

• 2차원 및 3차원 PDE 벤치마크 문제에서 최대 수백만 개의 미지수를 가진 대규모 비대칭 선형계에 대해, 네 가지 KSP 솔버(GMRES, TFQMR, BiCGSTAB, QMRCGSTAB)의 수렴성과 순차적 성능을 실험적으로 비교한다.
• 세 가지 유형의 조건부 방법—가우스-세이델, ILU 기반(ILUT, ILUTP, 다수준 ILU), 대수적 다중격자(BoomerAMG, ML)—을 모든 솔버 조합에 적용한다.
• 각 방법과 조건부 방법 조합에 대한 수학적 공식화, 연산 횟수, 메모리 요구량과 같은 이론적 요소를 분석한다.
• 오른쪽 조건부 방법을 주요 전략으로 사용하여, 수렴성과 안정성 측면에서 왼쪽 조건부 방법보다 우월함을 입증한다.
• 문제 크기가 증가함에 따라의 渐近 복잡도를 평가하며, 확장성과 성능 추세에 중점을 둔다.
• PETSc와 커스텀 구현을 사용하여 솔버 및 조건부 방법 테스트를 수행하며, 메서드의 행동을 분리하기 위해 순차적 성능에 중점을 둔다.

실험 결과

연구 질문

• RQ1 대규모 비대칭 선형계에 대해 다양한 조건부 방법과 조합된 GMRES, TFQMR, BiCGSTAB, QMRCGSTAB 중 어느 것이 가장 우수한 수렴성과 성능을 보이는가?
• RQ2 가우스-세이델, ILU, 또는 대수적 다중격자 조건부 방법의 선택이 불량 조건 또는 안장점 문제에서 Krylov 솔버의 수렴성과 효율성에 어떤 영향을 미치는가?
• RQ3 GMRES 및 기타 KSP 방법에 대해 다수준 ILU와 BoomerAMG, ML의 상대적 성능은 어떠한가?
• RQ4 재시작된 GMRES가 효과적이지 않은 조건부 방법을 사용할 경우 성능이 열 劣하는 이유는 무엇이며, 다른 방법과 비교해 볼 때 어떤가?
• RQ5 수렴 안정성과 계산 비용 측면에서 오른쪽 조건부 방법과 왼쪽 조건부 방법을 사용할 경우 실용적 의미는 무엇인가?

주요 결과

• 불량 조건 또는 복잡한 PDE 문제에서는 다수준 ILU 또는 BoomerAMG 조건부 방법을 사용한 GMRES가 수렴성과 성능 면에서 뛰어난 성능을 보인다. 특히 효과적인 스무딩 기법을 사용할 경우 더욱 우수하다.
• 적절한 군집화 및 보간 기법을 사용한 BoomerAMG는 ML보다 빠른 수렴을 보이나, 안장점 문제나 불량 조건 문제에서는 실패한다. 반면 다수준 ILU는 여전히 안정성이 뛰어나다.
• QMRCGSTAB는 BiCGSTAB보다 수렴이 더 매끄럽고, 추가 비용은 극히 미미하지만, 표준 라이브러리인 PETSc나 MATLAB에는 포함되어 있지 않다.
• 오른쪽 조건부 방법은 항상 왼쪽 조건부 방법보다 효과적이며, 특히 어려운 문제에서 수렴 안정성을 높이는 데 기여한다.
• 대규모 문제에서는 ILUTP가 매개변수 조정의 어려움으로 인해 신뢰성이 떨어지며, 다수준 ILU는 더 안정성이 높지만 효율적인 병렬 구현이 부족하다.
• 다수준 ILU는 비대칭 시스템에 대해 가장 안정적인 조건부 방법이지만, 대규모 문제에서는 다중격자 방법에 비해 효율성이 열 劣한다.