[논문 리뷰] Stopping criterion for iterative regularization of large-scale ill-posed problems using the Picard parameter

Eitan Levin, Alexander Y. Meltzer|arXiv (Cornell University)|2017. 07. 13.

Numerical methods in inverse problems참고 문헌 22인용 수 6

한 줄 요약

이 논문은 일반화된 피카르 매개변수를 사용하여 대규모 불안정 문제의 케일러 서브스페이스 반복 정규화를 위한 새로운 멈춤 기준을 제안한다. 푸리에 도메인에서 DFT 계수를双곡선 또는 타원형 순서로 필터링하고, 재구성된 데이터와 필터링된 데이터 간의 거리를 최소화함으로써, 특히 노이즈가 많고 대규모인 환경에서 L-곡선, NCP, W-GCV와 같은 최신 기준보다 뛰어난 정확도와 강건성을 달성한다.

ABSTRACT

We propose a new stopping criterion for Krylov subspace iterative regularization of large-scale ill-posed inverse problems. Our stopping criterion accurately filters the data using a generalization of the Picard parameter that was originally introduced for direct regularization of small-scale problems. In the one dimension we filter the data in the discrete Fourier transform (DFT) basis using the Picard parameter, which separates noise-dominated Fourier coefficients from the signal-dominated ones. For two-dimensional problems we propose a novel vectorization scheme of the Fourier coefficients of the data based on the Kronecker product structure of the two-dimensional DFT matrix, which effectively reduces the problem to one dimension. At each iteration we compute the distance between the data reconstructed from the iterated solution and the filtered data, terminating the iterations once this distance begins to increase or to level off. The accuracy and robustness of the proposed method is demonstrated by several numerical examples and a MATLAB-based implementation is provided.

연구 동기 및 목표

• 대규모 불안정 문제에 대한 케일러 서브스페이스 정규화에서 최적의 멈춤 반복 수를 선택하는 문제를 다루기 위해.
• L-곡선, GCV, 그리고 불일치 원칙과 같은 기존 멈춤 규칙의 한계를 극복하기 위해, 이는 정확도가 떨어지거나 노이즈에 민감하거나 노이즈 수준에 대한 사전 지식이 필요하기 때문이다.
• 원래 소규모 문제에 사용된 피카르 매개변수를 2D DFT 행렬의 크로네커乘법적 구조를 기반으로 한 벡터화된 DFT 기반 필터링 방법을 통해 대규모 문제로 일반화하기 위해.
• 프로젝션된 문제에서 노이즈가 있는 계수 행렬에 의존하지 않는 강력하고 데이터 기반의 멈춤 기준을 개발하기 위해.
• 이미지 복원 및 머신러닝 응용 분야를 포함한 다양한 수치 예제에서 최신 기법들보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 2D DFT 행렬의 크로네커 곱 구조를 기반으로 한 벡터화된 방법을 사용하여, 2D 문제를 주파수 도메인에서 이중선형 또는 타원형 패턴으로 DFT 계수를 순서화함으로써 2D 문제를 1D 필터링 문제로 재구성함으로써 피카르 매개변수를 대규모 문제로 일반화한다.
• 골루브-카한 이중대각화(Golub-Kahan bidiagonalization, GKB)의 각 반복 단계에서 현재 반복값 $Ax^{(k)}$로부터 재구성된 데이터와 필터링된 데이터 $\widehat{b}$ 사이의 거리를 계산한다.
• 이 거리가 증가하거나 수평선을 이루기 시작할 때 반복을 중단하며, 이는 노이즈가 증폭되고 있음을 나타낸다.
• 필터링 과정은 신호 지배 계수와 노이즈 지배 계수를 분리하며, 피카르 매개변수 $k_0$가 절단점을 결정한다.
• 이 방법은 프로젝션된 문제에서 계수 행렬에 노이즈가 포함되는 것을 방지하기 위해 오직 데이터 벡터에서만 작동하므로, GCV나 L-곡선보다 더 신뢰할 수 있다.

실험 결과

연구 질문

• RQ1 피카르 매개변수는 대규모 불안정 문제에 효과적으로 일반화되어 반복 정규화의 멈춤을 안내할 수 있는가?
• RQ2 DFT 계수 순서 선택—이중선형과 타원형—이 멈춤 기준의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 데이터 필터링(DF) 방법은 정확도와 강건성 면에서 L-곡선, NCP, W-GCV와 같은 기존 기준을 초월하는가?
• RQ4 노이즈 수준이 알려져 있지 않거나 크게 변동할 경우, 이 방법은 얼마나 효과적으로 유지되는가?
• RQ5 잔차 노름이 명확한 최솟값을 보이지 않을 때에도 DF 방법은 최적의 멈춤 반복 수를 신뢰성 있게 탐지할 수 있는가?

주요 결과

• 이중선형 순서를 사용한 DF 방법은 위성, 블러, 텍스트 복원 문제를 포함한 모든 테스트 문제에서 L-곡선, NCP, W-GCV와 비교해 일관되게 뛰어나거나 동등한 성능을 보였다.
• 테스트 케이스의 90%에서 DF 방법이 가장 낮은 평균 제곱편차(MSD)를 기록했으며, 경쟁 기법들보다 중앙값 MSD가 뚜렷이 낮았다.
• 특히 $\alpha = 10^{-4}$일 때 텍스트 문제(Text2)에서 타원형 순서는 거리 함수에 최솟값이나 변곡점이 없어 유효한 멈춤 지점이 존재하지 않아 실패했지만, 이중선형 순서는 성공적으로 멈춤 지점을 찾았다.
• 프로젝션된 티호노프 문제와 PLS 문제의 최적 해는 거의 동일한 MSD 값을 기록했으며, 이는 다양한 정규화 프레임워크 간의 방법의 일관성을 확인한다.
• 노이즈 수준($\alpha = 10^{-2}, 10^{-4}, 10^{-6}$)이 변화하더라도 성능 저하가 거의 없이 강건성을 유지했다.
• MATLAB로 구현된 소스코드는 실용적 응용과 재현 가능성을 보장하며, 이미지 복원 및 머신러닝 분야에서의 실제 적용을 지원한다.