[논문 리뷰] Optimal Regularization Parameters for General-Form Tikhonov Regularization

Julianne Chung, Malena I. Español외 1명|arXiv (Cornell University)|2014. 07. 08.

Numerical methods in inverse problems참고 문헌 12인용 수 8

한 줄 요약

이 논문은 훈련 데이터를 사용하여 일반형 및 다중 매개변수 티코노프 정규화의 최적 정규화 매개변수를 학습 기반 접근 방식으로 계산하는 방법을 제안한다. 일반화된 특이값 분해(GSVD)를 통해 해를 스펙트럼 필터링 문제로 공식화함으로써, 필터링된 해와 진짜 데이터 간의 평균 오차를 최소화하며, 일반화된 교차검증(GCV)과 유사한 성능을 달성하면서도 특히 대규모 이미지 복원 작업에서 상당히 감소된 계산 비용을 기록한다.

ABSTRACT

In this work we consider the problem of finding optimal regularization parameters for general-form Tikhonov regularization using training data. We formulate the general-form Tikhonov solution as a spectral filtered solution using the generalized singular value decomposition of the matrix of the forward model and a given regularization matrix. Then, we find the optimal regularization parameter by minimizing the average of the errors between the filtered solutions and the true data. We extend the approach to the multi-parameter Tikhonov problem for the case where all the matrices involved are simultaneously diagonalizable. For problems where this is not the case, we describe an approach to compute optimal or near-optimal regularization parameters by using operator approximations for the original problem. Several tests are performed for 1D and 2D examples using different norms on the errors, showing the effectiveness of this approach.

연구 동기 및 목표

• 훈련 데이터를 활용한 일반형 티코노프 정규화에서 최적 정규화 매개변수를 체계적으로 선택하는 방법을 개발하는 것.
• 정규화 행렬이 동시에 대각화 가능한 경우에 학습 기반 접근 방식을 다중 매개변수 티코노프 정규화로 확장하는 것.
• 대규모 이미지 복원 문제에 대해 GCV의 계산적으로 효율적인 대안을 제공하는 것.
• 훈련 세트 외부의 다양한 이미지 유형에 걸쳐 학습된 매개변수의 강건성 평가.
• 학습된 매개변수를 사용한 GSVD 기반 필터링이 덜 훈련된 데이터로도 표준 SVD 기반 필터링보다 우수한 성능을 보임을 보여주는 것.

제안 방법

• 전달 모델과 정규화 행렬의 일반화된 특이값 분해(GSVD)를 사용하여 일반형 티코노프 해를 스펙트럼 필터링 해로 공식화한다.
• 최적 정규화 매개변수를 훈련 샘플을 기반으로 필터링된 해와 진짜 데이터 간의 평균 오차를 최소화하는 값으로 정의한다.
• 모든 정규화 행렬이 동시에 대각화 가능하다는 가정 하에 다중 매개변수 티코노프로 접근 방식을 확장하여 해석적 매개변수 계산을 가능하게 한다.
• 동시 대각화가 불가능한 경우, 근사 연산자를 사용하여 효율적으로 근사 최적 매개변수를 계산한다.
• empirical Bayes 위험 최소화를 통해 훈련 데이터 기반의 매개변수 선택 문제를 학습 문제로 재정의한다.
• 다양한 오차 노름(L2, MSSIM 등)을 사용하여 정규화 매개변수를 평가하고 최적화한다.

실험 결과

연구 질문

• RQ1 훈련 데이터와 스펙트럼 필터링을 활용하여 일반형 티코노프 정규화의 최적 정규화 매개변수를 효율적으로 계산할 수 있는가?
• RQ2 재구성 정확도와 데이터 효율성 측면에서 GSVD 기반 필터링은 표준 SVD 기반 필터링보다 어떻게 비교되는가?
• RQ3 단일 세트의 학습된 정규화 매개변수는 훈련 분포 외부의 다양한 이미지 유형에도 효과적으로 작용할 수 있는가?
• RQ4 특히 대규모 이미지 복원 작업에서 제안된 학습 방법의 계산 비용은 GCV와 어떻게 비교되는가?
• RQ5 학습된 매개변수를 사용한 다중 매개변수 정규화가 GCV 대비 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• GSVD 기반 필터링 해는 특히 훈련 데이터가 제한된 경우 최적의 SVD 기반 필터링 해보다 더 높은 재구성 정확도를 달성한다.
• 제안된 학습 방법은 GCV로 얻는 결과와 유사한 재구성 오차를 제공하지만, 대규모 이미지 세트에서는 상당히 감소된 계산 비용을 기록한다.
• 위성 이미지에서 학습된 최적 매개변수는 위성 이미지 외부의 이미지(예: 세포, 직물, 항공사진, 카메라맨)를 재구성하는 데도 효과적으로 작용하며, 상대적 재구성 오차는 검증 세트의 중앙 오차보다 약 2배 정도 높다.
• 이미지 유사도(예: SSIM 및 노름 차이로 측정)와 재구성 품질 사이에 양의 상관관계가 나타나지만, 엄격한 관계는 존재하지 않는다.
• 근사 연산자와 훈련 데이터를 사용한 접근 방식은 GCV 결과와 매우 유사한 정규화 매개변수를 산출하며, 그 결과는 그림 12의 히스토그램 비교를 통해 확인되었다.
• 학습된 매개변수를 사용한 다중 매개변수 티코노프 정규화는 이미지별로 GCV를 수행하는 것보다 비용 효율적인 대안을 제공하며, 실시간 또는 고처리량 응용 분야에 특히 적합하다.