[論文レビュー] Stagnation of block GMRES and its relationship to block FOM

Kirk M. Soodhalter|arXiv (Cornell University)|Nov 28, 2014

Matrix Theory and Algorithms参考文献 32被引用数 5

ひとこと要約

本稿はブロックGMRESにおける停滞現象を分析し、ブロックFOMとの関係を確立する。停滞は、第jブロックアーノルドイベクトルの列空間と最小残差制約空間との交差によって決定されることを示す。主な貢献は、線形従属によるブレイクダウンが生じる場合でさえも、ブロックKrylov法における停滞を理解するための一般化された枠組みを提供することであり、病理的および現実的問題の両方における数値的妥当性が確認されている。

ABSTRACT

We analyze the the convergence behavior of block GMRES and characterize the phenomenon of stagnation which is then related to the behavior of the block FOM method. We generalize the block FOM method to generate well-defined approximations in the case that block FOM would normally break down, and these generalized solutions are used in our analysis. This behavior is also related to the principal angles between the column-space of the previous block GMRES residual and the current minimum residual constraint space. At iteration $j$, it is shown that the proper generalization of GMRES stagnation to the block setting relates to the columnspace of the $j$th block Arnoldi vector. Our analysis covers both the cases of normal iterations as well as block Arnoldi breakdown wherein dependent basis vectors are replaced with random ones. Numerical examples are given to illustrate what we have proven, including a small application problem to demonstrate the validity of the analysis in a less pathological case.

研究の動機と目的

• 複数の右辺を持つ文脈におけるブロックGMRESの停滞挙動を特徴づけること。
• 古典的なGMRES-FOM関係を、ブレイクダウンやニアーブレイクダウンが生じる場合を含めたブロック設定に拡張すること。
• ブロック残差における線形従属が生じる場合に備えて、従属ベクトルをランダムベクトルに置き換えることでブロックFOMを一般化すること。
• ブロックGMRESの停滞とKrylov部分空間間の主角度との幾何的関係を確立すること。
• 理論的知見を、病理的でない現実的応用問題を含む数値例を用いて検証すること。

提案手法

• 従属基底ベクトルをランダムベクトルに置き換えることで、ブロックFOMをブレイクダウンに対処できるように一般化し、定義された近似を保証する。
• ブロックアーノルドイプロセスを用いてKrylov部分空間を構築し、第jブロックGMRES補正空間を最小残差制約空間として定義する。
• 第jブロックアーノルドイベクトルの列空間と第jブロックGMRES補正空間との交差の次元を用いて、停滞を分析する。
• 主角度およびコサイン・サイン分解（例：CS分解）を用いて、部分空間間の幾何的関係を定量化する。
• 反復処理中に正弦と余弦を効率的に計算するための直交変換の使用を導入し、停滞インジケータのリアルタイム監視を可能にする。
• [17]の戦略に従い、追加コストを最小限に抑えつつ、ブロックGMRESと同時にブロックFOM反復を計算する変種を実装する。

実験結果

リサーチクエスチョン

• RQ1 複数の右辺が存在する状況において、ブロックGMRESの停滞は単一ベクトルGMRESの停滞とどのように異なるか？
• RQ2 ブロックGMRESの停滞を決定づける正確な幾何的条件は何か？ また、これはブロックFOM法とどのように関連しているか？
• RQ3 ブロック残差における線形従属が原因でブレイクダウンが生じる場合に、ブロックFOMはどのように一般化され、常に定義可能となるか？
• RQ4 Krylov部分空間間の主角度は、ブロックGMRESにおける停滞を特徴づける上で果たす役割は何か？
• RQ5 提案された解析は、混合行列構造を有するような非病理的で現実的な問題に対しても妥当に検証可能か？

主な発見

• ブロックGMRESにおける停滞は、反復列の各列の停滞とは異なり、第jブロックアーノルドイベクトルの列空間と第jブロックGMRES補正空間との交差の次元によって決定される。
• 一般化されたブロックFOM法は、ブレイクダウン時でさえも定義可能であり、収束挙動の一貫した分析を可能にする。
• 数値実験により、ブロックアーノルドイベクトルと残差空間との主角度のコサインがゼロになると、残差ノルムに改善が生じないことが確認され、停滞が発生することが示された。
• ブロック対角行列（sherman4 + シフト行列）を有する現実的テストケースでは、1つのブロックでほぼ停滞が観察され、他のブロックでは収束が進行しており、理論的予測と整合的であった。
• 直交変換を用いて計算された部分空間間の角度の正弦は、停滞の信頼できるインジケータを提供し、反復処理中に効率的に計算可能である。
• 提案された枠組みにより、ブロックGMRESにおけるブロックFOM反復の同時計算が、最小限のオーバーヘッドで可能となり、収束挙動のリアルタイム監視が可能になった。