[논문 리뷰] The Krylov Subspaces, Low Rank Approximations and Ritz Values of LSQR for Linear Discrete Ill-Posed Problems: the Multiple Singular Value Case

Zhongxiao Jia|arXiv (Cornell University)|2020. 03. 19.

Numerical methods in inverse problems참고 문헌 64인용 수 12

한 줄 요약

이 논문은 대규모 선형 이산 불안정 문제에 대한 LSQR의 정규화 이론을 다중 특이값의 경우로 확장한다. LSQR가 반수수렴 시 2노름 필터링으로서 최적의 정규화된 해를 달성함을 증명하며, 이는 퇴화 매개수 α > 1일 때 린드 값이 자연 순서로 큰 특이값을 근사하는 경우에만 성립함을 보여준다. 이러한 결과는 LSQR, CGME, MINRES, GMRES를 포함한 다양한 크릴로프 해법에 광범위하게 적용된다.

ABSTRACT

For the large-scale linear discrete ill-posed problem $\min\|Ax-b\|$ or $Ax=b$ with $b$ contaminated by white noise, the Golub-Kahan bidiagonalization based LSQR method and its mathematically equivalent CGLS, the Conjugate Gradient (CG) method applied to $A^TAx=A^Tb$, are most commonly used. They have intrinsic regularizing effects, where the iteration number $k$ plays the role of regularization parameter. The long-standing fundamental question is: {\em Can LSQR and CGLS find 2-norm filtering best possible regularized solutions}? The author has given definitive answers to this question for severely and moderately ill-posed problems when the singular values of $A$ are simple. This paper extends the results to the multiple singular value case, and studies the approximation accuracy of Krylov subspaces, the quality of low rank approximations generated by Golub-Kahan bidiagonalization and the convergence properties of Ritz values. For the two kinds of problems, we prove that LSQR finds 2-norm filtering best possible regularized solutions at semi-convergence. Particularly, we consider some important and untouched issues on best, near best and general rank $k$ approximations to $A$ for the ill-posed problems with the singular values $\sigma_k=\mathcal{O}(k^{-\alpha})$ with $\alpha>0$, and the relationships between them and their nonzero singular values. Numerical experiments confirm our theory. The results on general rank $k$ approximations and the properties of their nonzero singular values apply to several Krylov solvers, including LSQR, CGME, MINRES, MR-II, GMRES and RRGMRES.

연구 동기 및 목표

• 이상치가 있는 문제에서 다중 특이값을 가진 경우 LSQR이 2노름 필터링으로서 최적의 정규화된 해를 찾는지 여부라는 근본적인 질문을 해결하기 위해.
• 골루브-카한 바이디아고날라이제이션에 의해 생성된 크릴로프 부분공간과 낮은 랭크 근사의 근사 정확도를 분석하기 위해.
• 리츠 값과 그들의 특이값 σi에 대한 수렴 성질을 연구하기 위해.
• 특이값이 σk = O(k−α)로 감쇠하는 문제에서 LSQR이 전체 정규화를 달성할 수 있는 조건을 설정하기 위해, 특히 α > 0일 경우.
• 이전의 단일 특이값 사례에서의 결과를 더 복잡한 다중 특이값 상황으로 일반화하기 위해.

제안 방법

• 골루브-카한 바이디아고날라이제이션을 사용하여 크릴로프 부분공간과 행렬 A의 낮은 랭크 근사를 생성한다.
• 투영된 문제의 리츠 값과 진짜 특이값 사이의 교차 성질을 분석한다.
• 리츠 값 θ(k)i가 가장 큰 특이값 σi를 자연 순서로 근사할 수 있는 충분한 조건(α와 k를 포함)을 유도한다.
• 랭크 k 근사의 정확도 측정치 γk를 도입하고, 이를 계산 가능한 대체 측정치인 αk+1 + βk+2와 비교 분석한다.
• 특이값의 감쇠 속도 σk = O(k−α)에 대한 이론적 분석을 활용하여 정규화 성능를 특성화한다.
• 다양한 α와 노이즈 수준을 가진 대규모 문제에 대한 수치 실험을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 이상치가 있는 문제에서 다중 특이값을 가진 경우 LSQR이 2노름 필터링으로서 최적의 정규화된 해를 찾는 조건은 무엇인가?
• RQ2 특이값 σk = O(k−α)의 감쇠 속도 α가 크릴로프 부분공간 기반 낮은 랭크 근사의 근사 정확도에 어떤 영향을 미치는가?
• RQ3 리츠 값 θ(k)i와 진짜 특이값 σi 사이의 관계는 무엇인가, 특히 교차성과 자연 순서에 관해 어떻게 되는가?
• RQ4 계산이 불가능한 근사 정확도 γk는 계산 가능한 양 αk+1 + βk+2로 신뢰성 있게 추정할 수 있는가?
• RQ5 α > 0인 어떤 값에서 LSQR은 전체 정규화를 보이며, 반수수렴 시 최적의 해를 찾는가?

주요 결과

• 이상치가 있는 문제에서 다중 특이값을 가진 경우 LSQR은 반수수연 시 2노름 필터링으로서 최적의 정규화된 해를 찾는다.
• α > 1일 경우, 리츠 값 θ(k)i는 반수수연까지 자연 순서로 가장 큰 특이값 σi를 근사하며, 이는 전체 정규화를 보장한다.
• α ≤ 1일 경우, 리츠 값은 큰 특이값을 자연 순서로 근사하지 않을 수 있으며, α가 작아질수록 근사 정확도가 떨어진다.
• 랭크 k 근사 Pk+1BkQTk는 임계 k 이하에서는 근사적으로 최적에 가까운 근사가 되지만, 이후에는 악화되며 특히 α가 작은 경우 두드러진다.
• 계산이 불가능한 정확도 측정치 γk와 동일한 속도로 감쇠하는 αk+1 + βk+2는 근사 정확도의 신뢰할 수 있는 계산 가능한 지표를 제공한다.
• 리츠 값과 낮은 랭크 근사에 대한 이론적 결과는 LSQR, CGME, MINRES, MR-II, GMRES, RRGMRES를 포함한 광범위한 크릴로프 해법에 적용 가능하다.