[논문 리뷰] Hybrid and iteratively reweighted regularization by unbiased predictive risk and weighted GCV

Rosemary A. Renaut, Saeed Vatankhah외 1명|arXiv (Cornell University)|2015. 08. 31.

Numerical methods in inverse problems인용 수 5

한 줄 요약

이 논문은 골루브-카한 이중분해를 통해 대규모 불안정 문제를 해결할 때 비편향 예측 위험 추정(UPRE)과 가중 일반화 교차검증(GCV)을 조합한 하이브리드 정규화 접근법을 제안한다. 이는 투영된 부분공간에 대한 정규화 파rameter가 전체 문제에 대한 최적 파rameter를 잘 근사함을 보여주며, 부족한 데이터 시스템에서도 안정적이고 가장자리 보존 해석이 가능한 해를 제공한다.

ABSTRACT

Tikhonov regularization for projected solutions of large-scale ill-posed problems is considered. The Golub-Kahan iterative bidiagonalization is used to project the problem onto a subspace and regularization then applied to find a subspace approximation to the full problem. Determination of the regularization parameter using the method of unbiased predictive risk estimation is considered and contrasted with the generalized cross validation and discrepancy principle techniques. Examining the unbiased predictive risk estimator for the projected problem, it is shown that the obtained regularized parameter provides a good estimate for that to be used for the full problem with the solution found on the projected space. The connection between regularization for full and projected systems for the discrepancy and generalized cross validation estimators is also discussed and an argument for the weight parameter in the weighted generalized cross validation approach is provided. All results are independent of whether systems are over or underdetermined, the latter of which has not been considered in discussions of regularization parameter estimation for projected systems. Numerical simulations for standard one dimensional test problems and two dimensional data for both image restoration and tomographic image reconstruction support the analysis and validate the techniques. The size of the projected problem is found using an extension of a noise revealing function for the projected problem. Furthermore, an iteratively reweighted regularization approach for edge preserving regularization is extended for projected systems, providing stabilization of the solutions of the projected systems with respect to the determination of the size of the projected subspace.

연구 동기 및 목표

• 대규모 불안정 문제에서 정규화 파rameter 선택의 과제를 해결하며, 특히 이전 연구가 제한된 과소정의 시스템에서의 과제를 다룬다.
• 비편향 예측 위험 추정을 사용하여 투영된 시스템과 전체 시스템의 정규화 파ram터 간 이론적이고 수치적인 연결을 구축한다.
• 이터레이티브로 재가중 정규화를 투영된 시스템으로 확장하여 이미지 복원 및 단층촬영 복원에서 가장자리 보존과 해의 안정성을 향상시킨다.
• 데이터 기반으로 투영된 부분공간의 최적 크기를 결정하기 위한 노이즈 드러내는 함수를 개발한다.

제안 방법

• 대규모 불안정 문제를 저차원 부분공간으로 투영하기 위해 골루브-카한 이중분해를 사용하여 계산 복잡도를 감소시킨다.
• 투영된 문제에 비편향 예측 위험 추정(UPRE)을 적용하여 정규화 파ram터를 결정함으로써 예측 오차의 기대값을 최소화한다.
• UPRE를 일반화 교차검증(GCV)과 불일치 원칙과 비교하여 파ram터 선택을 수행하며, 투영된 문제와 전체 문제의 파aram터 간 일관성을 입증한다.
• 안정적인 파aram터 추정을 향상시키기 위해 이론적으로 타당한 가중치 파ram터를 포함한 가중 GCV 접근법을 도입한다.
• 이터레이티브로 재가중 정규화를 투영된 시스템으로 확장하여 가장자리 보존을 향상시킨다.
• 데이터 특성에 기반하여 최적의 부분공간 차원을 결정하기 위해 확장된 노이즈 드러내는 함수를 사용한다.

실험 결과

연구 질문

• RQ1 불안정 시스템에서 투영된 문제로부터 유도된 정규화 파aram터가 전체 문제의 파aram터를 신뢰성 있게 근사할 수 있는가?
• RQ2 투영된 시스템에서 파aram터 선택 시 비편향 예측 위험 추정(UPRE)이 GCV와 불일치 원칙보다 어떻게 성능이 우수한가?
• RQ3 투영된 문제에 대한 가중 GCV 접근법에서 가중치 파aram터의 이론적 근거는 무엇인가?
• RQ4 이터레이티브로 재가중 정규화를 투영된 시스템으로 효과적으로 확장할 수 있는가? 이는 가장자리 보존과 해의 안정성 향상에 기여하는가?
• RQ5 과소정의 및 과정정의 경우 양측에서 데이터 기반으로 노이즈 드러내는 함수를 사용해 투영된 부분공간의 크기를 최적화할 수 있는가?

주요 결과

• 투영된 문제에서 UPRE를 통해 도출된 정규화 파aram터는 전체 문제에 대한 최적 파aram터를 강력하게 근사하며, 정확한 해 복원을 보장한다.
• 불일치 원칙과 GCV에 대해 전체 문제와 투영된 문제의 정규화 파aram터 간 연결을 분석적으로 검증하였으며, 이는 과소정의 시스템으로의 적용 가능성을 확장한다.
• 제안된 가중 GCV 접근법은 안정성과 정확도 향상을 위한 이론적으로 타당한 가중치 파aram터를 포함하고 있다.
• 1D 및 2D 테스트 문제에 대한 수치 시뮬레이션을 통해, UPRE 또는 가중 GCV를 사용한 투영된 시스템이 전체 시스템 정규화의 해와 유사한 결과를 도출함을 확인하였다.
• 투영된 시스템에 적용된 이터레이티브로 재가중 정규화 방법은 부분공간 차원의 변동에 대해 해를 안정화시켜 강건성을 향상시켰다.
• 확장된 노이즈 드러내는 함수는 정확성과 계산 효율성의 균형을 맞추어 최적의 투영된 부분공간 크기를 성공적으로 식별하였다.