[논문 리뷰] Approximate Generalized Inverses with Iterative Refinement for $ε$-Accurate Preconditioning of Singular Systems

Xiangmin Jiao, Qiao Chen|arXiv (Cornell University)|2020. 09. 02.

Matrix Theory and Algorithms참고 문헌 65인용 수 4

한 줄 요약

이 논문은 희소 비대칭이고 특이적인 대규모 선형 시스템에 대해 정확한 최소제곱 및 의사역행렬 해를 계산할 수 있도록 하는 하이브리드 완전 인수분해와 반복 보정을 기반으로 한 새로운 가변 조건부 행렬 HIFIR을 소개한다. 기존 방법에 비해 정확도와 효율성에서 수개의 자리수 향상을 달성하였으며, 특히 근무차원이 낮은 영공간을 가진 시스템에서 뛰어난 성능을 발휘한다.

ABSTRACT

We introduce a new class of preconditioners to enable flexible GMRES to find a least-squares solution, and potentially the pseudoinverse solution, of large-scale sparse, asymmetric, singular, and potentially inconsistent systems. We develop the preconditioners based on a new observation that generalized inverses (i.e., $\boldsymbol{A}^{g}\in\{\boldsymbol{G}\mid\boldsymbol{A}\boldsymbol{G}\boldsymbol{A}=\boldsymbol{A}\}$) enable the preconditioned Krylov subspaces to converge in a single step. We then compute an approximate generalized inverse (AGI) efficiently using a hybrid incomplete factorization (HIF), which combines multilevel incomplete LU with rank-revealing QR on its final Schur complement. We define the criteria of $ε$-accuracy and stability of AGI to guarantee the convergence of preconditioned GMRES for consistent systems. For inconsistent systems, we fortify HIF with iterative refinement to obtain HIFIR, which allows accurate computations of the null-space vectors. By combining the two techniques, we then obtain a new solver, called PIPIT, for obtaining the pseudoinverse solutions for systems with low-dimensional null spaces. We demonstrate the robustness of HIF and HIFIR and show that they improve both accuracy and efficiency of the prior state of the art by orders of magnitude for systems with up to a million unknowns.

연구 동기 및 목표

• 일관성 없고 질량이 떨어진 대규모 희소 비대칭 특이 선형 시스템을 해결하는 데 있어 표준 반복 해법이 정확한 해로 수렴하지 못하는 문제에 대응한다.
• 특이 시스템에서 최소제곱 또는 의사역행렬 해로 수렴하도록 보장하는 유연한 GMRES를 위한 견고한 조건부 행렬을 개발한다.
• RIF와 완전 QR과 같은 기존 조건부 행렬의 한계를 극복하기 위해, 슈어 여유부분에 다수준 ILU와 랭크를 드러내는 QR을 조합한 하이브리드 접근법을 도입한다.
• 특이 시스템에서 조건부 행렬 토대의 크릴로프 부분공간 해법이 수렴하도록 보장하기 위해 ε-정확도 일반화 역행렬 근사치를 확보한다.
• 반복 보정을 통해 비일관 시스템으로의 확장을 도모하여 영공간 벡터와 의사역행렬 해의 정확한 계산을 가능하게 한다.

제안 방법

• 일관성 있는 시스템에서 조건부 행렬 GMRES의 수렴을 보장하기 위해, ε-정확도 및 안정성 기준을 정의한다.
• 최종 슈어 여유부분에 다수준 불완전 LU(MLILU)와 랭크를 드러내는 QR(RRQR)를 조합한 하이브리드 불완전 인수분해(HIF)를 제안한다.
• HIFIR(HIF에 반복 보정을 통합한 것)를 유연한 GMRES(FGMRES)를 위한 가변 조건부 행렬로 도입하여 비일관 시스템의 정확한 해를 계산할 수 있도록 한다.
• 동적 조건부 정밀도 조절을 가능하게 하기 위해, 최대 정밀도 브라운-워커(MPBW) 전략을 적응적으로 적용하여 근접 기계 정밀도 해를 달성한다.
• HIF와 HIFIR를 융합하여, 저차원 영공간을 가진 시스템에서 의사역행렬 해를 계산할 수 있는 새로운 해법 PIPIT(Pseudoinverse via Iterative Preconditioning and Iteration)를 개발한다.
• 일반화 역행렬의 최적성(즉, 조건부 행렬 토대의 크릴로프 부분공간이 한 번의 단계 내에서 수렴함)을 활용하여 HIF 및 HIFIR의 설계를 정당화한다.

실험 결과

연구 질문

• RQ1 일반화 역행렬이 특이 시스템에서 크릴로프 부분공간 방법의 1단계 수렴을 가능하게 하는 최적의 조건부 행렬로 사용될 수 있는가?
• RQ2 슈어 여유부분에 다수준 ILU와 RRQR를 조합한 하이브리드 불완전 인수분해(HIF)가 대규모 희소 시스템에서 일반화 역행렬을 ε-정확도로 근사할 수 있는가?
• RQ3 HIF에 반복 보정을 통합하여 비일관 시스템에서 정확도를 향상시키되, 메모리 사용량을 늘리거나 임계값을 더 엄격하게 설정하지 않고도 가능할 수 있는가?
• RQ4 결과적으로 도출된 HIFIR 조건부 행렬이 특이적 최소제곱 문제 해결에서 유연한 GMRES의 정확도와 효율성을 크게 향상시킬 수 있는가?
• RQ5 대규모 PDE 유도 특이 시스템에서 저차원 영공간을 가진 시스템에 대해 PIPIT는 얼마나 근접 기계 정밀도 수준의 정확도로 의사역행렬 해를 계산할 수 있는가?

주요 결과

• HIFIR는 대규모 시스템(예: 612,309 미지수)에서 상대 잔차가 최소 1.32e-14까지 낮아졌으며, LSMR 및 MPBW는 10^-5 이상에서 정체되어 있는 것과 비교해 뚜렷한 정확도 향상을 보였다.
• 비일관 시스템에서 PIPIT는 잔차가 유사한 상황에서도 MPBW 대비 해의 노름을 최대 10^9배까지 감소시켜, 훨씬 뛰어난 해의 품질을 입증하였다.
• AD-fine 케이스(612k 미지수)에서 PIPIT는 잔차 1.84e-07을 기록했고, 해의 노름은 기계 정밀도 수준에 근접하였다. 반면 LSMR는 10^4 반복 이내에 수렴하지 못했다.
• HIF는 표준 MLILU 조건부 행렬 대비 일관성 있는 시스템에서 GMRES의 견고성과 정확도를 수개의 자리수 향상시켰다.
• 제안된 PIPIT 해법은 저차원 영공간을 가진 시스템에서 근접 기계 정밀도 수준의 정확도로 의사역행렬 해를 계산하였으며, 희소 SVD 및 RIF-조건부 LSMR보다 뛰어난 성능을 보였다.
• HIFIR의 구현은 https://github.com/hifirworks/hifir 에 공개되어 있으며, 실수 및 복소수 행렬을 모두 지원하고, 확장성과 성능을 고려해 설계되어 있다.