[논문 리뷰] Some Results on the Regularization of LSQR for Large-Scale Discrete Ill-Posed Problems

Yi Huang, Zhongxiao Jia|arXiv (Cornell University)|2015. 03. 06.

Numerical methods in inverse problems참고 문헌 28인용 수 4

한 줄 요약

이 논문은 Krylov 부분공간에 의한 행렬 A의 주요 우측 특이 부분공간 근사의 경계를 유도하여, 대규모 이산적 불안정 문제에 대한 LSQR의 정규화 성질을 분석한다. 이는 LSQR이 심각하거나 중간 정도로 불안정한 문제에서는 완전한 정규화를 달성하여 최상의 해를 생성하지만, 경미하게 불안정한 문제에서는 부분 정규화를 보이며, 최적의 정확도를 달성하기 위해 하이브리드 정규화가 필요하다는 것을 보여준다.

ABSTRACT

LSQR, a Lanczos bidiagonalization based Krylov subspace iterative method, and its mathematically equivalent CGLS applied to normal equations system, are commonly used for large-scale discrete ill-posed problems. It is well known that LSQR and CGLS have regularizing effects, where the number of iterations plays the role of the regularization parameter. However, it has long been unknown whether the regularizing effects are good enough to find best possible regularized solutions. Here a best possible regularized solution means that it is at least as accurate as the best regularized solution obtained by the truncated singular value decomposition (TSVD) method. In this paper, we establish bounds for the distance between the $k$-dimensional Krylov subspace and the $k$-dimensional dominant right singular space. They show that the Krylov subspace captures the dominant right singular space better for severely and moderately ill-posed problems than for mildly ill-posed problems. Our general conclusions are that LSQR has better regularizing effects for the first two kinds of problems than for the third kind, and a hybrid LSQR with additional regularization is generally needed for mildly ill-posed problems. Exploiting the established bounds, we derive an estimate for the accuracy of the rank $k$ approximation generated by Lanczos bidiagonalization. Numerical experiments illustrate that the regularizing effects of LSQR are good enough to compute best possible regularized solutions for severely and moderately ill-posed problems, stronger than our theory predicts, but they are not for mildly ill-posed problems and additional regularization is needed.

연구 동기 및 목표

• 대규모 이산적 불안정 문제에 대해 LSQR의 정규화가 최상의 정규화된 해를 계산하는 데에 충분한지 여부를 규명하는 것.
• LSQR가 생성한 Krylov 부분공간이 행렬 A의 주요 우측 특이 부분공간을 얼마나 잘 근사하는지 정량화하는 것.
• LSQR이 완전한 정규화를 달성하는 조건, 특히 문제의 불안정성 정도와의 관계를 평가하는 것.
• 최상의 해를 제공하는 기준이 되는 조건부 특이값 분해(Truncated SVD, TSVD) 방법과의 성능 비교.
• 순수한 LSQR이 최적의 정규화를 달성하지 못하는 경미하게 불안정한 문제에 대해 하이브리드 LSQR 방법의 사용을 안내하는 것.

제안 방법

• 행렬 A의 k차원 주요 우측 특이 부분공간과 k차원 Krylov 부분공간 간의 거리에 대한 이론적 경계를 유도한다.
• Lanczos 이중대각화를 사용하여 Krylov 부분공간을 생성하고, 이를 통해 A의 랭크-k 근사의 정확도를 분석한다.
• 오차 행렬 Δk의 프로베니우스 노름을 통해 랭크-k 근사의 정확도에 대한 경계를 수립한다.
• 추가적인 Tikhonov 또는 조건부 SVD 정규화를 결합한 하이브리드 LSQR 방법을 도입하여 해의 정확도를 향상시킨다.
• 수치적 검증을 위해 순수한 LSQR과 하이브리드 LSQR의 최적 반복 횟수를 결정하기 위해 L-곡선 기준을 활용한다.
• 진짜 해를 기준으로 하여, 순수한 LSQR과 하이브리드 LSQR의 정규화된 해를 TSVD 해와 비교한다.

실험 결과

연구 질문

• RQ1 모든 유형의 이산적 불안정 문제에 대해, LSQR이 최상의 TSVD 해와 동등하거나 더 정확한 해를 계산하는 것으로 정의되는 완전한 정규화를 달성하는가?
• RQ2 k차원 Krylov 부분공간이 A의 k차원 주요 우측 특이 부분공간을 얼마나 잘 근사하는가? 이는 문제의 불안정성 정도에 따라 어떻게 달라지는가?
• RQ3 경미하게 불안정한 문제에 대해, LSQR의 정규화 효과가 최상의 해를 달성하지 못하는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 Krylov 부분공간 근사 정확도에 대한 이론적 경계가 실제로 LSQR의 정규화 성능을 예측할 수 있는가?
• RQ5 경미하게 불안정한 문제에 대해, LSQR과 추가 정규화를 조합한 하이브리드 LSQR 방법이 필수적이며 효과적인가?

주요 결과

• LSQR가 생성한 Krylov 부분공간은 심각하거나 중간 정도로 불안정한 문제에서는 경미하게 불안정한 문제보다 주요 우측 특이 부분공간을 더 정확하게 캐피처한다.
• 심각하거나 중간 정도로 불안정한 문제에 대해 LSQR은 완전한 정규화를 보이며, 최상의 정규화된 해를 계산할 수 있으며, 이는 이론적 예측을 초월한다.
• 경미하게 불안정한 문제에 대해 LSQR은 부분 정규화를 보이며, 반경수렴 이전에 모든 필요한 주요 SVD 성분을 포괄하지 못한다.
• 수치 실험을 통해 순수한 LSQR이 최상의 해에 도달하지 못하는 경미하게 불안정한 문제인 'deriv2'에 대해 하이브리드 LSQR이 해의 정확도를 크게 향상시킴을 확인하였다.
• LSQR과 추가 Tikhonov 또는 TSVD 유형 정규화를 조합한 하이브리드 LSQR 방법은 특히 진짜 해의 비스무스 영역에서 순수한 LSQR보다 더 높은 정확도를 달성한다.
• 랭크-k 근사 오차에 대한 이론적 경계는 보수적이며, 이는 LSQR의 정규화 효과 분석의 정확도 향상 여지를 시사한다.