[論文レビュー] The Krylov Subspaces, Low Rank Approximations and Ritz Values of LSQR for Linear Discrete Ill-Posed Problems: the Multiple Singular Value Case

Zhongxiao Jia|arXiv (Cornell University)|Mar 19, 2020

Numerical methods in inverse problems参考文献 64被引用数 12

ひとこと要約

本稿は、大規模な線形離散的悪条件問題におけるLSQRの正則化理論を、複数の特異値を有する場合に拡張する。半収束時にLSQRが2ノルムフィルタリングの最良の正則化解を達成することを確立し、Ritz値が自然な順序で大きな特異値を近似するのは、減衰パラメータα > 1のときのみであることを証明する。これらの結果は、LSQR、CGME、MINRES、GMRESを含むKrylovソルバに広く適用可能である。

ABSTRACT

For the large-scale linear discrete ill-posed problem $\min\|Ax-b\|$ or $Ax=b$ with $b$ contaminated by white noise, the Golub-Kahan bidiagonalization based LSQR method and its mathematically equivalent CGLS, the Conjugate Gradient (CG) method applied to $A^TAx=A^Tb$, are most commonly used. They have intrinsic regularizing effects, where the iteration number $k$ plays the role of regularization parameter. The long-standing fundamental question is: {\em Can LSQR and CGLS find 2-norm filtering best possible regularized solutions}? The author has given definitive answers to this question for severely and moderately ill-posed problems when the singular values of $A$ are simple. This paper extends the results to the multiple singular value case, and studies the approximation accuracy of Krylov subspaces, the quality of low rank approximations generated by Golub-Kahan bidiagonalization and the convergence properties of Ritz values. For the two kinds of problems, we prove that LSQR finds 2-norm filtering best possible regularized solutions at semi-convergence. Particularly, we consider some important and untouched issues on best, near best and general rank $k$ approximations to $A$ for the ill-posed problems with the singular values $\sigma_k=\mathcal{O}(k^{-\alpha})$ with $\alpha>0$, and the relationships between them and their nonzero singular values. Numerical experiments confirm our theory. The results on general rank $k$ approximations and the properties of their nonzero singular values apply to several Krylov solvers, including LSQR, CGME, MINRES, MR-II, GMRES and RRGMRES.

研究の動機と目的

• 悪条件問題に複数の特異値が存在する場合、LSQRが2ノルムフィルタリングの最良の正則化解を求めるかどうかという根本的問題を解明すること。
• Golub-Kahanのバイダイアゴナライゼーションによって生成されるKrylov部分空間および低ランク近似の近似精度を分析すること。
• Ritz値の収束特性と、行列Aの特異値との関係を研究すること。
• 特異値がσk = O(k−α)と減衰する場合に、LSQRが完全な正則化を達成する条件を確立すること、特にα > 0の場合。
• 単一の特異値の場合の先行結果を、より複雑な複数特異値の状況に一般化すること。

提案手法

• Golub-Kahanのバイダイアゴナライゼーションを用いて、Krylov部分空間および行列Aの低ランク近似を生成する。
• 射影問題のRitz値と真の特異値との間の交互性（interlacing）特性を分析する。
• Ritz値θ(k)iが自然な順序で最大特異値σiを近似するための十分条件（αおよびkに依存）を導出する。
• ランクk近似の精度を測る指標γkを導入・分析し、計算可能な代理指標αk+1 + βk+2と比較する。
• 特異値の減衰率σk = O(k−α)の理論的分析を用いて、正則化性能を特徴付ける。
• 大規模問題における異なるαおよびノイズレベルに対する数値実験を通じて、理論的考察の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 悪条件問題に複数の特異値が存在する場合、LSQRが2ノルムフィルタリングの最良の正則化解を半収束時に達成する条件は何か？
• RQ2 特異値σk = O(k−α)の減衰率αが、Krylov部分空間に基づく低ランク近似の近似精度にどのように影響するか？
• RQ3 Ritz値θ(k)iと真の特異値σiとの関係、特に交互性および自然順序性に関してはいかなるものか？
• RQ4 計算不能な近似精度γkは、計算可能な量αk+1 + βk+2によって信頼性高く推定可能か？
• RQ5 α > 0のどの値に対してLSQRが完全な正則化を示し、半収束時に最良の解を達成するか？

主な発見

• 悪条件問題に複数の特異値が存在する場合、LSQRは半収束時に2ノルムフィルタリングの最良の正則化解を達成する。
• α > 1の場合、Ritz値θ(k)iは半収束まで自然な順序で最大特異値σiを近似し、完全な正則化が保証される。
• α ≤ 1の場合、Ritz値は自然な順序で大きな特異値を近似しない可能性があり、αが小さくなるほど近似精度が低下する。
• ランクk近似Pk+1BkQTkは、臨界なkまでしか近い最良の近似ではなく、その後劣化する。特にαが小さい場合顕著である。
• 計算不能な精度指標γkと同様の速度で減衰するαk+1 + βk+2は、近似精度の信頼性ある計算可能指標を提供する。
• Ritz値および低ランク近似に関する理論的結果は、LSQR、CGME、MINRES、MR-II、GMRES、RRGMRESを含む広範なKrylovソルバに適用可能である。