[論文レビュー] Exploiting variable precision in GMRES

Serge Gratton, Ehouarn Simon+2 more|arXiv (Cornell University)|Jul 24, 2019

Matrix Theory and Algorithms参考文献 28被引用数 11

ひとこと要約

本稿では、GMRES Krylov部分空間反復解法における可変精度算術戦略を提案し、反復が進行するに従い内積および行列-ベクトル積の精度を低下させても収束速度や最終的な精度に影響を及げないことを示している。主な貢献は、不正確な内積に起因するアーノルドイ・ベクトルの直交性喪失の厳密な解析であり、これにより数値的安定性と精度を維持したまま精度の低下が可能となる。

ABSTRACT

We describe how variable precision floating point arithmetic can be used in the iterative solver GMRES. We show how the precision of the inner products carried out in the algorithm can be reduced as the iterations proceed, without affecting the convergence rate or final accuracy achieved by the iterates. Our analysis explicitly takes into account the resulting loss of orthogonality in the Arnoldi vectors. We also show how inexact matrix-vector products can be incorporated into this setting.

研究の動機と目的

• GMRESにおける低精度算術の実装を可能にし、収束性や最終解の精度を損なわないようにすること。
• 不正確な内積がアーノルドイ・ベクトルの直交性喪失に与える影響を分析し、GMRESの安定性において重要な要因を特定すること。
• 不正確な行列-ベクトル積を組み込むフレームワークを拡張し、アルゴリズムの堅牢性を維持すること。
• 可変精度下での誤差伝播に対して理論的境界を導出し、実装における信頼性を保証すること。

提案手法

• 修正グラム・シュミット法（MGS）およびMGS-GMRESの丸め誤差解析技術を応用し、アーノルドイ過程における不正確な内積をモデル化する。
• 内積を低精度で計算する摂動モデルを導入し、直交性の喪失を補正行列 $ F_k $ により表現する。$ V_k^T V_k = I_k - F_k $ として表現される。
• 基底行列 $ Q $ の特異値解析を用いて、直交性喪失の境界とGMRES収束への影響を導出。$ \rho_{\text{min}}(Q) $ および $ \rho_{\text{max}}(Q) $ を補正行列 $ F_k $ のノルムと関連付ける。
• 不正確な行列-ベクトル積を、アーノルドイ関係式 $ A\tilde{V}_k = \tilde{V}_{k+1}\tilde{H}_k + E_k $ における追加の摂動としてモデル化し、不正確な内積との組み合わせ効果を分析。
• 重み付き内積と全最小平方型境界を用いて、可変精度下での誤差推定を導出し、特に残差ノルム $ \beta e_1 - H_k y_k $ に対して評価。
• スケーリング全最小平方（STLS）距離を用いて、拡張行列 $ [\beta \tilde{\rho} e_1, H_k D_k^{-1}] $ の最小特異値を境界化し、精度低減下でも安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 反復が進行するに従い、GMRESにおける内積計算を低精度で行うことは、収束速度や最終的な精度に影響を与えないか？
• RQ2 不正確な内積がアーノルドイ・ベクトルの直交性喪失に与える影響は何か？ その影響は定量的に境界化可能か？
• RQ3 不正確な内積と不正確な行列-ベクトル積が、GMRESの収束および残差低減に及ぼす併合効果は何か？
• RQ4 精度低減がGMRES反復の達成可能な精度を損なわないように保証するための理論的境界を導出可能か？
• RQ5 摂動行列 $ F_k $ および $ E_k $ に対して、どのような条件下でGMRESは可変精度算術下でも収束特性を維持するか？

主な発見

• 内積計算の精度を反復が進行するに従い低下させても、直交性喪失が適切に境界化されていれば、収束速度や最終解の精度に影響を及ぼさない。
• 不正確な内積に起因するアーノルドイ・ベクトルの直交性喪失は補正行列 $ F_k $ により定量的に評価され、そのノルム $ \norm{F_k}_2 $ は $ \frac{1}{\rho_{\text{min}}(Q)} $ で境界づけられる。ここで $ \rho_{\text{min}}(Q) $ は基底行列 $ Q $ の最小特異値である。
• $ \norm{F_k}_2 \to 0 $ が $ k \to \text{small} $ のとき成り立つことで、GMRES反復の精度が保たれ、低精度下でも維持される。
• スケーリング全最小平方（STLS）距離を用いて、残差ノルム $ \norm{r_k}_2 $ の理論的境界が導出され、可変精度下でも残差が有界であることが示された。
• $ D_k $ が $ \norm{D_k}_2 \norm{t_k}_2 \norm{H_k^{-1}}_2 \rho_{\text{min}}(H_k) \rho_{\text{min}}(Q) \to 0 $ を満たすとき、残差ノルムは $ \norm{t_k}_2 $ で有界となり、収束が保証される。
• 解析により、$ \tau_k \to 0 $ のとき、拡張行列の最小特異値がゼロから離れて保たれることを確認し、精度低減下でも安定性および収束性が維持されることを裏付けた。