[论文解读] How Descriptive are GMRES Convergence Bounds?

Mark Embree|arXiv (Cornell University)|Sep 2, 2022

Matrix Theory and Algorithms被引用 41

一句话总结

该论文比较三种标准的GMRES收敛界限——特征值及其特征向量条件数、特征值域(FOV)、伪谱，并分析它们对非规范矩阵的描述能力，包括通过谱投影算子实现局部化以及从Arnoldi法实用估计。

ABSTRACT

GMRES is a popular Krylov subspace method for solving linear systems of equations involving a general non-Hermitian coefficient matrix. The conventional bounds on GMRES convergence involve polynomial approximation problems in the complex plane. Three popular approaches pose this approximation problem on the spectrum, the field of values, or pseudospectra of the coefficient matrix. We analyze and compare these bounds, illustrating with six examples the success and failure of each. When the matrix departs from normality due only to a low-dimensional invariant subspace, we discuss how these bounds can be adapted to exploit this structure. Since the Arnoldi process that underpins GMRES provides approximations to the pseudospectra, one can estimate the GMRES convergence bounds as an iteration proceeds.

研究动机与目标

• 评估三种常见GMRES界限在描述非正常矩阵收敛性方面的有效性。
• 在多个示例中比较基于特征值/特征向量、特征值域和伪谱的界限。
• 利用谱投影算子发展局部化技术以收紧界限。
• 提出在GMRES迭代期间可使用的实际界限和估计方法。

提出的方法

• 回顾并给出三种标准GMRES界限：(EV) 使用带有特征向量条件数的特征值；(FOV) 基于特征值域；(PSA) 基于伪谱。
• 引入谱投影算子，将界限局部化到谱的子集，产生 (EV')、(FOV') 和 (PSA') 变体。
• 利用理论结果（定理1及推论2–6）来展示单个特征值和不变量子空间的条件数如何影响界限。
• 讨论CG区间（Ω_CG）作为处理W(A)中出现0的一种方法，并获得替代界限（CG）。
• 描述在GMRES迭代期间通过Arnoldi过程的近似伪谱来估计界限的实用策略（第4节）。
• 阐明渐近收敛速率如何与在集合如 sigma(A)、W(A) 和 sigma_epsilon(A) 上的极小极大多项式逼近相关，使用共形映射及相关界限。

实验结果

研究问题

• RQ1 基于特征值、特征值域和伪谱的标准GMRES界限在描述非正规矩阵时有多描述性？
• RQ2 通过谱投影实现局部化是否能产生更尖锐、更加准确的GMRES界限？
• RQ3 如何在迭代过程中利用Arnoldi获得的伪谱近似信息来估计GMRES收敛界限？
• RQ4 每个界限（EV、FOV、PSA）的局限性是什么，在哪些情形它们会失败或成功？
• RQ5 特征值域或伪谱中出现0如何影响界限的有用性，区域化方法（CG）如何减缓这一问题？

主要发现

• 每种标准界限（EV、FOV、PSA）在非正规矩阵的 GMRES 收敛上可能显著高估收敛，但在许多情况下也具有描述性。
• 谱投影局部化（EV'、FOV'、PSA'）通过将特征值分组解耦并纳入投影算子范数来 sharpening 界限。
• 伪谱界限可以通过在一系列 epsilon 值上抽样来捕捉多阶段的收敛，反映不同的收敛机制。
• CG 区域（Omega_CG）提供了一种在 W(A) 中含有 0 的情况下处理的方式，在 W(A) 包含 0 时可以得到有用的界限。
• 简单特征值的特征值条件数（kappa(lambda)）在某些非正规情形下导致比经典 EV 界限更紧的界限（EV'）。
• 基于 W(A) 的界限在特征值非均匀分布或离群值驱动初期快速收敛时可能错过收敛行为，揭示了 FOV 的局限。
• 计算伪谱可能代价较高，但来自 Arnoldi 过程的近似伪谱提供了一种实用的估计方法（第4节）。