[论文解读] Approximate Generalized Inverses with Iterative Refinement for $ε$-Accurate Preconditioning of Singular Systems

Xiangmin Jiao, Qiao Chen|arXiv (Cornell University)|Sep 2, 2020

Matrix Theory and Algorithms参考文献 65被引用 4

一句话总结

该论文提出HIFIR，一种基于混合不完全分解与迭代修正的新型可变预条件子，使灵活GMRES方法能够为大规模、稀疏、非对称且奇异的线性系统计算高精度的最小二乘解与广义逆解。该方法在准确性和效率方面相比先前方法实现数量级的提升，尤其适用于零空间维数较低的系统。

ABSTRACT

We introduce a new class of preconditioners to enable flexible GMRES to find a least-squares solution, and potentially the pseudoinverse solution, of large-scale sparse, asymmetric, singular, and potentially inconsistent systems. We develop the preconditioners based on a new observation that generalized inverses (i.e., $\boldsymbol{A}^{g}\in\{\boldsymbol{G}\mid\boldsymbol{A}\boldsymbol{G}\boldsymbol{A}=\boldsymbol{A}\}$) enable the preconditioned Krylov subspaces to converge in a single step. We then compute an approximate generalized inverse (AGI) efficiently using a hybrid incomplete factorization (HIF), which combines multilevel incomplete LU with rank-revealing QR on its final Schur complement. We define the criteria of $ε$-accuracy and stability of AGI to guarantee the convergence of preconditioned GMRES for consistent systems. For inconsistent systems, we fortify HIF with iterative refinement to obtain HIFIR, which allows accurate computations of the null-space vectors. By combining the two techniques, we then obtain a new solver, called PIPIT, for obtaining the pseudoinverse solutions for systems with low-dimensional null spaces. We demonstrate the robustness of HIF and HIFIR and show that they improve both accuracy and efficiency of the prior state of the art by orders of magnitude for systems with up to a million unknowns.

研究动机与目标

• 解决大规模、稀疏、非对称且奇异的线性系统（这些系统不相容且秩亏），标准迭代求解器无法收敛到高精度解的问题。
• 为灵活GMRES开发一种鲁棒的预条件子，确保在奇异系统中即使系统不相容，也能收敛到最小二乘解或广义逆解。
• 通过引入结合多层ILU与Schur补上的秩揭示QR的混合方法，克服现有预条件子（如RIF和不完全QR）的局限性。
• 实现ε-精度的广义逆近似，以确保预条件Krylov求解器的收敛性，尤其适用于相容系统。
• 通过迭代修正将方法扩展至不相容系统，实现零空间向量与广义逆解的高精度计算。

提出的方法

• 提出一种混合不完全分解（HIF），结合多层不完全LU（MLILU）与最终Schur补上的秩揭示QR（RRQR），以近似广义逆。
• 定义HIF近似的ε-精度与稳定性准则，以保证预条件GMRES在相容系统中的收敛性。
• 提出HIFIR（带迭代修正的HIF）作为灵活GMRES（FGMRES）的可变预条件子，实现对不相容系统的高精度求解。
• 采用自适应、最高精度的Brown–Walker（MPBW）策略，动态调整预条件精度，实现接近机器精度的解。
• 将HIF与HIFIR结合，提出新型求解器PIPIT（通过迭代预条件与迭代计算广义逆），用于求解零空间维数较低的系统的广义逆解。
• 利用广义逆的最优性——即预条件Krylov子空间可在一步内收敛——来证明HIF与HIFIR设计的合理性。

实验结果

研究问题

• RQ1 广义逆能否作为最优预条件子，使Krylov子空间方法在奇异系统中实现一步收敛？
• RQ2 结合MLILU与Schur补上RRQR的混合不完全分解（HIF）能否实现对大规模稀疏系统广义逆的ε-精度近似？
• RQ3 如何将迭代修正整合到HIF中，以在不增加内存或收紧阈值的前提下提升不相容系统的精度？
• RQ4 所提出的HIFIR预条件子能否显著提升灵活GMRES求解秩亏最小二乘问题的准确性和效率？
• RQ5 PIPIT在多大程度上能以接近机器精度的准确性计算大规模PDE导出的奇异系统（零空间维数较低）的广义逆解？

主要发现

• 对于大规模系统（如612,309个未知数），HIFIR实现了最低达1.32e-14的相对残差，显著优于LSMR和MPBW（后者停滞在10^-5或更高）。
• 对于不相容系统，PIPIT将解范数降低了高达10^9倍，即使残差相似，也表现出更优的解质量。
• 在AD-fine案例中（612k个未知数），PIPIT实现了1.84e-07的残差，且解范数接近机器精度，而LSMR在10^4次迭代内无法收敛。
• 相比标准MLILU预条件，HIF将GMRES在相容系统中的鲁棒性与精度提升了数量级。
• 所提出的PIPIT求解器对零空间维数较低的系统实现了接近机器精度的广义逆解，优于稀疏SVD与RIF预条件LSMR。
• HIFIR的实现已公开发布于https://github.com/hifirworks/hifir，支持实数与复数矩阵，具备可扩展性与高性能设计。