[論文レビュー] Approximate Generalized Inverses with Iterative Refinement for $ε$-Accurate Preconditioning of Singular Systems

Xiangmin Jiao, Qiao Chen|arXiv (Cornell University)|Sep 2, 2020

Matrix Theory and Algorithms参考文献 65被引用数 4

ひとこと要約

本稿では、反復修正を組み合わせたハイブリッド不完全因子分解に基づく新規な可変プリコンディショナ― HIFIR を提案する。これにより、大規模でスパース、非対称、特異な線形系に対して、正確な最小二乗解および一般化逆行列解を GMRES 法で計算可能となる。従来手法に比べ、特に低次元の核空間を有する系に対して、精度と効率の面で桁違いの向上を達成する。

ABSTRACT

We introduce a new class of preconditioners to enable flexible GMRES to find a least-squares solution, and potentially the pseudoinverse solution, of large-scale sparse, asymmetric, singular, and potentially inconsistent systems. We develop the preconditioners based on a new observation that generalized inverses (i.e., $\boldsymbol{A}^{g}\in\{\boldsymbol{G}\mid\boldsymbol{A}\boldsymbol{G}\boldsymbol{A}=\boldsymbol{A}\}$) enable the preconditioned Krylov subspaces to converge in a single step. We then compute an approximate generalized inverse (AGI) efficiently using a hybrid incomplete factorization (HIF), which combines multilevel incomplete LU with rank-revealing QR on its final Schur complement. We define the criteria of $ε$-accuracy and stability of AGI to guarantee the convergence of preconditioned GMRES for consistent systems. For inconsistent systems, we fortify HIF with iterative refinement to obtain HIFIR, which allows accurate computations of the null-space vectors. By combining the two techniques, we then obtain a new solver, called PIPIT, for obtaining the pseudoinverse solutions for systems with low-dimensional null spaces. We demonstrate the robustness of HIF and HIFIR and show that they improve both accuracy and efficiency of the prior state of the art by orders of magnitude for systems with up to a million unknowns.

研究の動機と目的

• 標準的な反復解法が収束しない、非一貫的かつランク不足な大規模でスパース、非対称、特異な線形系を解く課題に対処すること。
• 非一貫系であっても、一般化逆行列解や最小二乗解に収束するように、柔軟な GMRES 用の頑健なプリコンディショナ―を開発すること。
• RIF や不完全 QR などの既存のプリコンディショナ―の限界を克服するため、スチェル・コンプリメント上でマルチレベル ILU とランクを明らかにする QR を組み合わせたハイブリッド手法を導入すること。
• 特に一貫系に対して、ε-精度の一般化逆行列近似を達成することで、プリコンディショニングされた Krylov 反復法の収束を保証すること。
• 反復修正を統合することで、非一貫系に対しても正確な核空間ベクトルと一般化逆行列解を計算可能にする。

提案手法

• 最終的なスチェル・コンプリメント上でマルチレベル不完全 LU (MLILU) とランクを明らかにする QR (RRQR) を組み合わせたハイブリッド不完全因子分解 (HIF) を提案し、一般化逆行列を近似する。
• 一貫系に対してプリコンディショニングされた GMRES の収束を保証するため、HIF 近似のε-精度および安定性基準を定義する。
• HIFIR (HIF に反復修正を組み合わせたもの) を柔軟な GMRES (FGMRES) のための可変プリコンディショナ―として導入し、非一貫系の正確な解法を可能にする。
• 動的精度調整が可能な最大精度の Brown–Walker (MPBW) 策略を採用し、近似機械精度に近い解を得る。
• HIF と HIFIR を統合して、低次元核空間を有する系の一般化逆行列解を計算する新しいソルバー PIPIT (Pseudoinverse via Iterative Preconditioning and Iteration) を構築する。
• 一般化逆行列の最適性（すなわち、プリコンディショニングされた Krylov 部分空間が1ステップで収束する）を根拠として、HIF および HIFIR の設計を正当化する。

実験結果

リサーチクエスチョン

• RQ1 一般化逆行列を最適なプリコンディショナ―として用いることで、特異系に対して Krylov 部分空間法が1ステップで収束可能となるか？
• RQ2 スチェル・コンプリメント上で MLILU と RRQR を組み合わせたハイブリッド不完全因子分解 (HIF) が、大規模スパース系に対して一般化逆行列をε-精度で近似可能か？
• RQ3 HIF に反復修正を統合することで、メモリ使用量を増加させず、しきい値を厳しくしなくても、非一貫系の精度を向上可能か？
• RQ4 得られた HIFIR プリコンディショナ―は、ランク不足な最小二乗問題を解く柔軟な GMRES の精度と効率を著しく向上可能か？
• RQ5 PIPIT は、低次元核空間を有する大規模 PDE 衍生特異系に対して、近似機械精度に近い精度で一般化逆行列解を計算可能か？

主な発見

• HIFIR は、大規模系（例：612,309 無名数）において相対残差が 1.32e-14 まで低下し、LSMR や MPBW が 10^-5 以上で停滞するのに対し、顕著に優れた性能を示した。
• 非一貫系において、PIPIT は MPBW よりも解のノルムを最大 10^9 倍まで低減したが、残差は類似していたため、解の品質が顕著に優れていた。
• AD-fine ケース（612k 無名数）では、PIPIT は残差 1.84e-07 を達成し、解のノルムは機械精度に近かったが、LSMR は 10^4 ステップ以内に収束しなかった。
• HIF は、標準的な MLILU プリコンディショナ―と比較して、一貫系に対して GMRES の頑健性と精度を桁違いに向上させた。
• 提案された PIPIT ソルバーは、低次元核空間を有する系に対して、近似機械精度に近い精度で一般化逆行列解を計算でき、スパース SVD や RIF プリコンディショニング付き LSMR を上回った。
• HIFIR の実装は https://github.com/hifirworks/hifir で公開されており、実数および複素行列をサポートしており、拡張性とパフォーマンスを考慮して設計されている。