[논문 리뷰] Adaptive Regularization of Ill-Posed Problems: Application to Non-rigid Image Registration

Andriy Myronenko, Xubo Song|ArXiv.org|2009. 06. 17.

Numerical methods in inverse problems참고 문헌 26인용 수 13

한 줄 요약

이 논문은 비정적 영상 정렬에서 정규화 연산자와 영상 변환 파라미터를 동시에 추정하는 적응형 정규화 방법을 제안한다. KL 발산을 통해 기준 분포에 가까운 가우스-마르코프 무작위 필드(GMRF)로 사전 분포를 모델링함으로써 스펙트럼 분해를 통한 신호에 의존하는 정규화를 가능하게 하여, 표준 변분 방법에 비해 더 높은 정확도를 달성하면서도 O(N log N) 최적화 복잡도를 확보한다.

ABSTRACT

We introduce an adaptive regularization approach. In contrast to conventional Tikhonov regularization, which specifies a fixed regularization operator, we estimate it simultaneously with parameters. From a Bayesian perspective we estimate the prior distribution on parameters assuming that it is close to some given model distribution. We constrain the prior distribution to be a Gauss-Markov random field (GMRF), which allows us to solve for the prior distribution analytically and provides a fast optimization algorithm. We apply our approach to non-rigid image registration to estimate the spatial transformation between two images. Our evaluation shows that the adaptive regularization approach significantly outperforms standard variational methods.

연구 동기 및 목표

• 비정적 영상 정렬과 같은 과도하게 해가 있는 역문제에서 고정된 정규화 연산자의 한계를 해결하기 위해.
• 사전에 고정된 부드러움 제약에 의존하지 않고 데이터로부터 정규화 구조를 적응적으로 학습하는 방법을 개발하기 위해.
• 변환 필드의 현재 추정치에 따라 정규화가 진화하도록 하여 정렬 정확도를 향상시키기 위해.
• GMRF의 이동 불변성 특성과 스펙트럼 분해를 활용하여 빠른 최적화 알고리즘을 제공하기 위해.
• 예를 들어 DCT/FFT와 같은 변환 도메인 계수에 강제로 희소성 조건을 적용하여 더 나은 일반화 및 압축 성능을 달성하기 위해.

제안 방법

• 정규화 문제를 베이지안 MAP 프레임워크에서 수립하며, 변환 필드의 사전 분포는 모델 분포로부터 KL 발산을 통해 추정된다.
• 알 수 없는 사전 분포와 모델 분포가 모두 평균이 0인 가우스 분포라고 가정하여 KL 발산 항의 해석적 계산이 가능해진다.
• 사전 분포를 가우스-마르코프 무작위 필드(GMRF)로 제약하여 이동 불변 공분산을 확보하고, 푸리에 또는 DCT 기저에 의해 대각화될 수 있도록 한다.
• 양의 정부호 행렬의 다양체 위에서 KL 발산을 최소화함으로써 역공분산 행렬(정규화 연산자)에 대한 닫힌 형태의 해를 유도한다.
• 고정된 티호노프 정규화를 대체로, 변환 필드의 DCT/FFT 계수의 절대값에 대한 신호 적응형 페널티를 도입한다.
• 스펙트럼 분해를 활용한 빠른 최적화 알고리즘을 개발하여 주파수 도메인에서의 반복적 갱신을 통해 O(N log N) 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 정규화 연산자를 사전에 고정하지 않고 추정함으로써 데이터에 적응하는 정규화가 가능할 수 있는가?
• RQ2 계산 효율성을 유지하면서도 영상 변환 파라미터의 사전 분포를 데이터로부터 어떻게 학습할 수 있는가?
• RQ3 예를 들어 DCT와 같은 변환 도메인에 희소성 조건을 적용할 경우 정렬 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ4 고정된 정규화를 사용하는 표준 변분 정렬 방법과 비교할 때, 제안된 방법은 수렴성과 강건성 측면에서 어떻게 다른가?
• RQ5 스펙트럼 방법과 빠른 변환을 활용하여 적응형 정규화 프레임워크를 효율적으로 구현할 수 있는가?

주요 결과

• 제안된 적응형 정규화 방법은 복잡한 비정적 변환 필드를 복원하는 데 있어 표준 변분 정렬 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 고정된 정규화 방법에서 흔히 발생하는 열악한 국소 최적점으로의 수렴 문제를 효과적으로 피할 수 있었다.
• 최종 목적 함수는 변환 필드의 DCT/FFT 계수의 L1 노름을 페널티로 삼아 희소성을 강제로 유도하고 일반화 성능을 향상시켰다.
• GMRF의 스펙트럼 특성과 주파수 도메인에서의 반복 갱신을 활용하여 최적화 알고리즘이 O(N log N) 복잡도를 달성하였다.
• 변환 도메인에서의 희소성 덕분에 압축 성능과 재구성 정밀도가 향상되었으며, 이는 최종 정규화 항의 구조를 통해 뚜렷이 확인되었다.
• 모델 분포가 등방성일 경우 이 방법은 L1 정규화(Lasso)와 유사한 해석을 제공하여 영상 복원에서 희소 복구에 새로운 해석을 제안한다.