[논문 리뷰] Hybrid and Iteratively Reweighted Regularization by Unbiased Predictive Risk and Weighted GCV for Projected Systems

Rosemary A. Renaut|arXiv (Cornell University)|2017. 03. 08.

Numerical methods in inverse problems참고 문헌 31인용 수 51

한 줄 요약

이 논문은 대규모 불안정 문제를 해결하기 위해 골루브-카한 이중대각화(Golub-Kahan bidiagonalization)를 사용하는 하이브리드 정규화 접근법을 제안한다. 이는 투영된 부분공간에서 정규화 매개변수 선택을 위한 비편향 예측 위험 추정(UPRE)과 가중 일반화 교차검증(WGCV)을 결합한다. 결과적으로 중간 정도로 또는 심각하게 불안정한 문제에서 UPRE로 유도된 매개변수는 전체 문제에 대한 안정적인 추정치를 제공함을 보여주며, 최적의 가중치를 가진 WGCV는 표준 GCV보다 안정성과 정확도를 향상시킨다. 특히 과소결정되거나 노이즈가 많은 설정에서 유의미한 성능 향상을 보인다.

ABSTRACT

abstract: Tikhonov regularization for projected solutions of large-scale ill-posed problems is considered. The Golub{Kahan iterative bidiagonalization is used to project the problem onto a subspace and regularization then applied to nd a subspace approximation to the full problem. Determination of the regularization, parameter for the projected problem by unbiased predictive risk estimation, generalized cross validation, and discrepancy principle techniques is investigated. It is shown that the regularized parameter obtained by the unbiased predictive risk estimator can provide a good estimate which can be used for a full problem that is moderately to severely ill-posed. A similar analysis provides the weight parameter for the weighted generalized cross validation such that the approach is also useful in these cases, and also explains why the generalized cross validation without weighting is not always useful. All results are independent of whether systems are over- or underdetermined. Numerical simulations for standard one-dimensional test problems and two- dimensional data, for both image restoration and tomographic image reconstruction, support the analysis and validate the techniques. The size of the projected problem is found using an extension of a noise revealing function for the projected problem [I. Hn etynkov a, M. Ple singer, and Z. Strako s, BIT Numer. Math., 49 (2009), pp. 669{696]. Furthermore, an iteratively reweighted regularization approach for edge preserving regularization is extended for projected systems, providing stabilization of the solutions of the projected systems and reducing dependence on the determination of the size of the projected subspace.

연구 동기 및 목표

• 투영된 크라이洛프 부분공간을 사용하여 대규모 불안정 문제에서 정규화 매개변수 선택을 위한 안정적이고 정확한 방법을 개발한다.
• 투영된 시스템에서 최적의 정규화 매개변수를 추정하는 데 있어 비편향 예측 위험 추정(UPRE)과 가중 일반화 교차검증(WGCV)의 성능을 평가한다.
• 반복적으로 재가중하는 정규화를 투영된 시스템으로 확장하여 가장자리 보존 성능을 향상시키고 부분공간 차원 선택에 대한 민감도를 감소시킨다.
• 1차원 및 2차원 테스트 문제, 특히 이미지 복원과 단층촬영 재구성에 대해 제안된 방법을 검증한다.
• 투영된 문제에서 유도된 정규화 매개변수들이 특히 심각하게 불안정한 경우에 전체 문제에 대해 신뢰할 수 있는 추정치를 제공함을 보여준다.

제안 방법

• 크기 t인 저차원 크라이로프 부분공간으로 대규모 불안정 문제를 투영하기 위해 골루브-카한 이중대각화(GKB)를 사용한다.
• 투영된 문제에 대해 정규화 매개변수 ζ를 사용한 티콘프 정규화를 적용하고, 이중대각행렬 Bt의 SVD를 통해 감소된 시스템을 해결한다.
• 예측 잔차의 평균 제곱오차 추정치를 최소화함으로써 비편향 예측 위험 추정기(UPRE)를 사용해 ζ를 계산한다.
• 안정성과 정확도를 향상시키기 위해 적응형 가중치 ω를 가진 가중 GCV(WGCV) 공식을 도입하며, 특히 과소결정되거나 노이즈가 많은 경우 표준 GCV보다 유의미하게 향상된다.
• 반복적으로 재가중하는 티콘프 정규화를 투영된 시스템에 확장하여 가장자리 보존 성능을 향상시키고 부분공간 차원 t에 대한 의존도를 감소시킨다.
• 노이즈 드러내는 함수를 활용하여, Hn˘etynkov´a 등(2009)의 연구에 기반해 투영된 문제에서 노이즈 수준을 감지함으로써 최적의 부분공간 차원 t를 추정한다.

실험 결과

연구 질문

• RQ1 중간 정도로 또는 심각하게 불안정한 시스템에서, 투영된 문제에서 UPRE를 통해 추정한 정규화 매개변수 ζ가 전체 문제의 최적 매개변수 α에 대해 신뢰할 수 있는 추정치를 제공할 수 있는가?
• RQ2 최적의 가중치 ω를 가진 가중 GCV(WGCV)가 과소결정되거나 노이즈가 많은 설정에서 표준 GCV보다 투영된 시스템의 정규화 매개변수 선택에 있어 더 우수한 성능을 보일 수 있는가?
• RQ3 투영된 시스템에 적용된 반복적으로 재가중하는 정규화 접근법이 표준 티콘프 정규화에 비해 솔루션의 안정성과 가장자리 보존 성능을 어떻게 향상시키는가?
• RQ4 부분공간 차원 t의 선택이 최종 솔루션에 미치는 영향은 어느 정도이며, 노이즈 드러내는 함수는 노이즈 수준을 감지함으로써 사전에 노이즈 수준을 알지 못해도 최적의 t를 신뢰성 있게 추정할 수 있는가?
• RQ5 제안된 하이브리드 정규화 방법의 성능는 이미지 복원과 단층촬영 재구성과 같은 다양한 종류의 대규모 역문제에서 일관되게 유지되는가?

주요 결과

• 투영된 문제에서 UPRE를 통해 유도된 정규화 매개변수 ζ는 특히 중간 정도로 또는 심각하게 불안정한 문제에서 전체 문제의 최적 α에 대해 강력한 추정치를 제공한다.
• 최적의 가중치 ω를 가진 가중 GCV는 과소결정되거나 노이즈가 많은 시스템에서 표준 GCV보다 매개변수 선택 성능을 크게 향상시킨다. 특히 표준 GCV가 수렴하지 않거나 열악한 추정치를 제공하는 경우에 두드러진 성능 향상을 보인다.
• 투영된 시스템에 적용된 반복적으로 재가중하는 정규화 접근법은 가장자리 보존 성능을 향상시키고 부분공간 차원 t 선택에 대한 민감도를 감소시켜 솔루션의 강건성을 향상시킨다.
• 1차원 및 2차원 문제, 특히 이미지 복원과 단층촬영 재구성에 대한 수치 실험 결과, 제안된 방법들이 상대 오차가 낮고 날카로운 특징을 더 잘 보존하는 고품질의 재구성 결과를 도출함을 확인하였다.
• 노이즈 드러내는 함수는 투영된 문제에서 노이즈 수준을 감지함으로써 최적의 부분공간 차원 t를 성공적으로 추정하여 자동이고 신뢰할 수 있는 부분공간 크기 선택을 가능하게 하였다.
• 제안된 방법들은 과잉결정이든 과소결정이든 상관없이 효과적이고 안정적이며, 대규모 역문제에 광범위하게 적용 가능함을 보여주었다.