[論文レビュー] Kaczmarz-type inner-iteration preconditioned flexible GMRES methods for consistent linear systems

Yishu Du, Ken Hayami+3 more|arXiv (Cornell University)|Jun 18, 2020

Matrix Theory and Algorithms参考文献 38被引用数 4

ひとこと要約

本稿では、一貫した線形方程式系、特に過決定および不恰好な最小二乗問題に対して、グリーディかつランダム化されたカツチャルツ内反復を前処理として用いた柔軟なGMRES法を提案する。本手法は、内反復回数と緩和パラメータを動的に調整することで、NE-SORで前処理されたGMRESに比べ、収束が速く、CPU時間も短くなる。

ABSTRACT

We propose using greedy and randomized Kaczmarz inner-iterations as preconditioners for the right-preconditioned flexible GMRES method to solve consistent linear systems, with a parameter tuning strategy for adjusting the number of inner iterations and the relaxation parameter. We also present theoretical justifications of the right-preconditioned flexible GMRES for solving consistent linear systems. Numerical experiments on overdetermined and underdetermined linear systems show that the proposed method is superior to the GMRES method preconditioned by NE-SOR inner iterations in terms of total CPU time.

研究の動機と目的

• 一貫した線形方程式系、特に悪条件またはランク落ちしているものの反復的解法を高速化するため、従来のNE-SOR内反復の代わりにグリーディおよびランダム化されたカツチャルツ法を用いる。
• 基底追求などの問題で行操作が高コストである場合に、適応的内反復によって総行操作回数を最小化することで、計算コストを低減する。
• ランダム化またはグリーディなカツチャルツ内反復によって生じる可変前処理を扱える柔軟なGMRESフレームワークを構築する。
• 一貫した線形方程式系の文脈において、右側前処理を施した柔軟なGMRESの収束性を理論的に裏付ける。

提案手法

• 一貫した線形方程式系 $ A\boldsymbol{x} = \boldsymbol{b} $ に対して、$ \boldsymbol{b} \notin \text{range}(A) $ を満たす場合に、右側前処理を施した柔軟なGMRESフレームワーク内に、グリーディおよびランダム化されたカツチャルツ法を暗黙的かつ可変の前処理として用いる。
• 内反復により $ A A^T \boldsymbol{u} = \boldsymbol{b} $ の $ \boldsymbol{u} $ を解き、$ \boldsymbol{x} = A^T \boldsymbol{u} $ として $ A A^T $ の明示的構築を回避する。
• 収束精度と効率のバランスを取るために、カツチャルツ内反復回数と緩和パラメータを動的に調整するパラメータチューニング戦略を採用する。
• カツチャルツ型内反復により生じる非定常前処理を扱えるよう、柔軟なGMRESを採用し、外側のGMRES反復ごとに前処理が変化する状況に対応する。
• ランダム化カツチャルツでは、残差寄与度が最大の行を選択する確率基準を採用し、収束速度を向上させる。
• 本手法は、$ \boldsymbol{b} - A B \boldsymbol{u} $ に柔軟なGMRESを適用することと数学的に同等である。ここで $ B $ は内反復演算子である。

実験結果

リサーチクエスチョン

• RQ1 グリーディおよびランダム化されたカツチャルツ内反復は、一貫した線形方程式系における柔軟なGMRESフレームワークにおいて、効果的で適応的な前処理として機能するか？
• RQ2 NE-SOR内反復をカツチャルツ型手法に置き換えることで、大規模でスパースな一貫した線形方程式系の解法において、合計CPU時間が短縮されるか？
• RQ3 内反復回数および緩和パラメータの動的チューニングが、収束速度と頑健性に与える影響は何か？
• RQ4 ランダムな行選択によって生じる非定常な前処理の下で、提案された柔軟なGMRES法の理論的収束挙動はいかなるものか？
• RQ5 過決定および不恰好な両方のシステムにおいて、標準的な前処理付きGMRESに比べ、本手法の性能はどのようになるか？

主な発見

• 提案されたカツチャルツ型内反復を前処理とした柔軟なGMRES法は、すべてのテスト問題においてNE-SORで前処理されたGMRESに比べ、合計CPU時間が短い。
• illc1850問題では、相対残差が0.153に達するまでに1.00 CPU時間単位を要したが、NE-SORは同程度の精度に到達するまでにより長い時間を要した。
• RANDL1T問題では、相対残差が0.940に達するまでに1.00 CPU時間単位を要し、大規模でスパースな不恰好なシステムにおいて高い効率性を示した。
• ランダム化カツチャルツ内反復により、NE-SORに比べて必要な行操作回数が削減された。これは、行アクセスが高コストな問題において特に有益であった。
• 理論的分析により、柔軟なGMRES法が与えられた前処理フレームワーク下で残差ノルムを最適に最小化することが確認された。
• マラガル、photogrammetry2、genなどの多様なテストケースにおける数値結果から、特に悪条件またはランク落ちしているシステムにおいて、収束速度と頑健性の両面で一貫した優位性が示された。