[論文レビュー] Some Results on the Regularization of LSQR for Large-Scale Discrete Ill-Posed Problems

Yi Huang, Zhongxiao Jia|arXiv (Cornell University)|Mar 6, 2015

Numerical methods in inverse problems参考文献 28被引用数 4

ひとこと要約

この論文は、LSQRが大規模な離散的不適切な問題に対して示す正則化特性を分析し、Krylov部分空間による主要な右特異部分空間の近似に関する境界を導出する。LSQRは重度および中程度の不適切問題に対しては完全正則化（最良の解を生成）を達成するが、軽度の不適切問題に対しては部分的正則化を示し、最適な精度に到達するにはハイブリッド正則化が必要であることを示している。

ABSTRACT

LSQR, a Lanczos bidiagonalization based Krylov subspace iterative method, and its mathematically equivalent CGLS applied to normal equations system, are commonly used for large-scale discrete ill-posed problems. It is well known that LSQR and CGLS have regularizing effects, where the number of iterations plays the role of the regularization parameter. However, it has long been unknown whether the regularizing effects are good enough to find best possible regularized solutions. Here a best possible regularized solution means that it is at least as accurate as the best regularized solution obtained by the truncated singular value decomposition (TSVD) method. In this paper, we establish bounds for the distance between the $k$-dimensional Krylov subspace and the $k$-dimensional dominant right singular space. They show that the Krylov subspace captures the dominant right singular space better for severely and moderately ill-posed problems than for mildly ill-posed problems. Our general conclusions are that LSQR has better regularizing effects for the first two kinds of problems than for the third kind, and a hybrid LSQR with additional regularization is generally needed for mildly ill-posed problems. Exploiting the established bounds, we derive an estimate for the accuracy of the rank $k$ approximation generated by Lanczos bidiagonalization. Numerical experiments illustrate that the regularizing effects of LSQR are good enough to compute best possible regularized solutions for severely and moderately ill-posed problems, stronger than our theory predicts, but they are not for mildly ill-posed problems and additional regularization is needed.

研究の動機と目的

• 大規模な離散的不適切問題に対してLSQRの正則化が、最良の正則化解を計算するのに十分であるかどうかを特定すること。
• LSQRが生成するKrylov部分空間が、行列Aの主要な右特異部分空間をどの程度よく近似するかを定量化すること。
• LSQRが完全正則化を達成するか、部分的正則化を示すかの条件を評価すること、特に問題の不適切度との関係を含む。
• LSQRの性能を、最良の解を提供する基準として用いられる、切り捨て特異値分解（TSVD）法と比較すること。
• 純粋なLSQRが最適正則化に到達できない軽度の不適切問題において、ハイブリッドLSQR法の使用を支援すること。

提案手法

• 行列Aのk次元主要な右特異部分空間とk次元Krylov部分空間の間の距離に関する理論的境界を導出する。
• Lanczos双対対角化を用いてKrylov部分空間を生成し、得られるランクk近似の品質を分析する。
• 誤差行列ΔkのFrobeniusノルムを用いて、ランクk近似の精度に関する境界を確立する。
• LSQRと追加のTikhonov正則化または切り捨てSVD正則化を組み合わせたハイブリッドLSQR法を導入し、解の精度を向上させる。
• 純粋なLSQRおよびハイブリッドLSQRの最適反復回数を決定するためにL曲線基準を用い、数値的妥当性を検証する。
• 真の解を基準として、LSQRおよびハイブリッドLSQRの正則化解をTSVD解と比較する。

実験結果

リサーチクエスチョン

• RQ1 LSQRは、すべての種類の離散的不適切問題に対して、最良のTSVD解に等しいかそれ以上の精度の解を計算できる、完全正則化を達成するか？
• RQ2 k次元Krylov部分空間は、行列Aのk次元主要な右特異部分空間をどの程度よく近似するか？また、この近似の質は問題の不適切度にどのように依存するか？
• RQ3 軽度の不適切問題において、LSQRの正則化効果が最良の解に到達しない場合、その理由は何か？
• RQ4 Krylov部分空間近似品質に関する理論的境界は、LSQRの実際の正則化性能を予測できるか？
• RQ5 LSQRに追加の正則化を組み合わせたハイブリッドLSQR法は、軽度の不適切問題において必要かつ有効であるか？

主な発見

• LSQRが生成するKrylov部分空間は、重度および中程度の不適切問題に対しては、軽度の不適切問題よりも主要な右特異部分空間をより正確に捉えている。
• LSQRは重度および中程度の不適切問題に対して完全正則化を示し、最良の正則化解を計算でき、理論的予測を上回る性能を示している。
• 軽度の不適切問題では、LSQRは部分的正則化を示し、半収束に達する前に必要なすべての主要なSVD成分を捉えきれていない。
• 数値実験により、純粋なLSQRが最良の解に到達できない軽度の不適切問題（例：'deriv2'）において、ハイブリッドLSQRが顕著に解の精度を向上させていることが確認された。
• LSQRと追加のTikhonovまたはTSVD型正則化を組み合わせたハイブリッドLSQR法は、純粋なLSQRよりも精度が高く、特に真の解の滑らかでない領域で顕著な改善を示している。
• ランクk近似誤差に関する理論的境界は保守的であるため、LSQRの正則化効果の精度分析にはさらなる改善の余地がある。