[論文レビュー] How Descriptive are GMRES Convergence Bounds?

Mark Embree|arXiv (Cornell University)|Sep 2, 2022

Matrix Theory and Algorithms被引用数 41

ひとこと要約

この論文は、3つの標準的な GMRES 収束界を比較し—固有値と固有ベクトルの条件付け、能域（field of values）、および pseudospectra—非正規行列の記述力を分析し、スペクトル投影算子による局在化や Arnoldi からの実用的推定を含む。

ABSTRACT

GMRES is a popular Krylov subspace method for solving linear systems of equations involving a general non-Hermitian coefficient matrix. The conventional bounds on GMRES convergence involve polynomial approximation problems in the complex plane. Three popular approaches pose this approximation problem on the spectrum, the field of values, or pseudospectra of the coefficient matrix. We analyze and compare these bounds, illustrating with six examples the success and failure of each. When the matrix departs from normality due only to a low-dimensional invariant subspace, we discuss how these bounds can be adapted to exploit this structure. Since the Arnoldi process that underpins GMRES provides approximations to the pseudospectra, one can estimate the GMRES convergence bounds as an iteration proceeds.

研究の動機と目的

• 3つの一般的な GMRES 界が非正規行列の収束をどれだけ正確に説明するかを評価する。
• 固有値/固有ベクトル、能域、 pseudospectra に基づく界を複数の例で比較する。
• スペクトル投影算子を用いた局在化手法を開発し、界を厳密化する。
• GMRES 実行中に使用できる実用的な界と推定手法を提案する。

提案手法

• 3つの標準 GMRES bounds をレビューし定式化する： (EV) は固有値と固有ベクトルの条件数を用い、(FOV) は能域に基づき、(PSA) は pseudospectra に基づく。
• スペクトル投影算子を導入してスペクトルの部分集合に界を局在化し、(EV')、(FOV')、(PSA') の派生を得る。
• 定理1および命題2–6のコロラリを用いて、個々の固有値の条件付けと不変部分空間が界にどのように影響するかを示す。
• CG領域 Omega_CG を、W(A) に 0 が含まれる場合の処理法として議論し、代替界 CG を得る。
• Arnoldi 過程からの近似 pseudospectra を用いて、GMRES 実行中に界を推定する実用的戦略を説明する（セクション4）。
• 共形写像と関連する境界を用いて、漸近的収束速度が sigma(A)、W(A)、sigma_epsilon(A) のような集合上の最小最大近似とどのように関連するかを明確にする。

実験結果

リサーチクエスチョン

• RQ1 非正規行列に対して、固有値・固有ベクトル、能域、pseudospectra に基づく標準的な GMRES 界はどの程度記述的か。
• RQ2 スペクトル投影算子による局在化で、より鋭く正確な GMRES 界を得られるか。
• RQ3 Arnoldi からの情報（pseudospectra の近似）を用いて、反復中に GMRES 収束界をどのように推定できるか。
• RQ4 それぞれの界（EV、FOV、PSA）の限界は何か、どのような状況で失敗または成功するか。
• RQ5 能域または pseudospectrum に 0 が含まれる場合、界の有用性にどのような影響があり、領域ベースのアプローチ（CG）でどのように緩和できるか。

主な発見

• 各標準界（EV、FOV、PSA）は非正規行列に対して GMRES の収束を大きく過大評価し得るが、多くのケースで記述的であり得る。
• スペクトル投影算子による局在化（EV'、FOV'、PSA'）は、固有値グループのデカップリングと射影子のノルムの取り込みにより界を鋭くする。
• pseudospectral 界は、異なる収束レジームを反映する epsilon 値の範囲をサンプリングすることで、複数の収束段階を捉えることができる。
• CG領域 Omega_CG は、0 が能域に含まれる場合を処理する方法を提供し、W(A) が 0 を含むとき有用な界をもたらす。
• 単純固有値の固有値条件付け（kappa(lambda)）は、特定の非正規設定で古典的な EV 界よりも tight な界 EV' につながる。
• W(A) に基づく界は、固有値が非均一に分布している場合や外れ値が初期の収束を急加速させる場合の収束挙動を見逃すことがあり、FOV の限界を強調する。
• pseudospectra の計算は高価だが、Arnoldi 過程から導かれた近似 pseudospectra は実践的な推定手法を提供する（セクション4）。