[论文解读] Kaczmarz-type inner-iteration preconditioned flexible GMRES methods for consistent linear systems

Yishu Du, Ken Hayami+3 more|arXiv (Cornell University)|Jun 18, 2020

Matrix Theory and Algorithms参考文献 38被引用 4

一句话总结

本文提出一种灵活的GMRES方法，通过贪婪和随机Kaczmarz内迭代进行预条件处理，以求解相容线性系统，特别适用于超定和欠定最小二乘问题。与NE-SOR预条件GMRES相比，该方法通过动态调节内迭代次数和松弛参数，实现了更快的收敛速度和更低的CPU时间。

ABSTRACT

We propose using greedy and randomized Kaczmarz inner-iterations as preconditioners for the right-preconditioned flexible GMRES method to solve consistent linear systems, with a parameter tuning strategy for adjusting the number of inner iterations and the relaxation parameter. We also present theoretical justifications of the right-preconditioned flexible GMRES for solving consistent linear systems. Numerical experiments on overdetermined and underdetermined linear systems show that the proposed method is superior to the GMRES method preconditioned by NE-SOR inner iterations in terms of total CPU time.

研究动机与目标

• 通过用贪婪和随机Kaczmarz方法替代传统的NE-SOR内迭代，加速相容线性系统的迭代求解，特别是病态或秩亏的系统。
• 在行操作代价较高的问题（如基追踪）中，通过自适应内迭代最小化总行操作次数，降低计算成本。
• 开发一种灵活的GMRES框架，以适应由随机或贪婪Kaczmarz内迭代产生的可变预条件子。
• 为右预条件灵活GMRES在相容线性系统背景下的收敛性提供理论依据。

提出的方法

• 在右预条件灵活GMRES框架中，使用贪婪和随机Kaczmarz方法作为隐式、可变的预条件子，用于求解 $ Aoldsymbol{x} = oldsymbol{b} $，其中 $ oldsymbol{b} otin ext{range}(A) $。
• 通过内迭代求解 $ oldsymbol{u} $，使得 $ A A^T oldsymbol{u} = oldsymbol{b} $，并令 $ oldsymbol{x} = A^T oldsymbol{u} $，避免显式构造 $ A A^T $。
• 采用参数调优策略，动态调整Kaczmarz内迭代次数和松弛参数，以在精度与效率之间取得平衡。
• 采用灵活GMRES处理由Kaczmarz型内迭代引入的非定常预条件，这些预条件在外部GMRES迭代中会变化。
• 在随机Kaczmarz中采用概率准则，选择残差贡献最大的行，以提高收敛速度。
• 该方法在数学上等价于对 $ oldsymbol{b} - A B oldsymbol{u} $ 应用灵活GMRES，其中 $ B $ 是内迭代算子。

实验结果

研究问题

• RQ1 贪婪和随机Kaczmarz内迭代能否作为灵活GMRES框架中相容线性系统的有效、自适应预条件子？
• RQ2 在求解大规模、稀疏、相容线性系统时，用Kaczmarz型方法替代NE-SOR内迭代是否能减少总CPU时间？
• RQ3 内迭代次数和松弛参数的动态调节如何影响收敛速度和鲁棒性？
• RQ4 当由于随机行选择导致预条件子非定常时，所提出的灵活GMRES方法的理论收敛行为如何？
• RQ5 与标准预条件GMRES相比，该方法在超定和欠定系统中的表现如何？

主要发现

• 所提出的Kaczmarz型内迭代预条件灵活GMRES方法在所有测试问题中，总CPU时间均优于NE-SOR预条件GMRES。
• 在 illc1850 问题中，该方法在1.00 CPU时间单位内达到相对残差0.153，而NE-SOR达到类似精度所需时间更长。
• 在 RANDL1T 问题中，该方法在1.00 CPU时间单位内达到相对残差0.940，显示出在大规模、稀疏、欠定系统中的高效率。
• 与NE-SOR相比，随机Kaczmarz内迭代显著减少了所需行操作次数，尤其在行访问代价较高的问题中更具优势。
• 理论分析证实，在给定预条件框架下，灵活GMRES方法能最优地最小化残差范数。
• 在多种测试用例（如 Maragal、photogrammetry2、gen）上的数值结果表明，该方法在收敛速度和鲁棒性方面表现一致更优，尤其在病态和秩亏系统中。