[논문 리뷰] Image registration and super resolution from first principles

Colin B. Clement, Matthew Bierbaum외 1명|arXiv (Cornell University)|2018. 09. 14.

Advanced Image Processing Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 초해상도 및 등록 원리를 최적화하여 조합함으로써 최대 10배 높은 정밀도의 입자 추적을 실현하는 베이지안 이미지 등록 방법인 슈퍼 레지스트레이션(SR)을 제안한다. 이 방법은 잠재 이미지 모델을 학습하고 이를 노이즈가 있는 데이터에 맞추어 이동시켜, 크래머-라오 경계(CRB)를 달성하고 편향을 제거한다. 기존 표준 방법은 직접적으로 이미지를 이동시키며 노이즈에 따라 분산이 제곱으로 증가하는 문제를 야기하지만, SR은 이를 해결한다.

ABSTRACT

Image registration is the inference of transformations relating noisy and distorted images. It is fundamental in computer vision, experimental physics, and medical imaging. Many algorithms and analyses exist for inferring shift, rotation, and nonlinear transformations between image coordinates. Even in the simplest case of translation, however, all known algorithms are biased and none have achieved the precision limit of the Cramer Rao bound (CRB). Following Bayesian inference, we prove that the standard method of shifting one image to match another cannot reach the CRB. We show that the bias can be cured and the CRB reached if, instead, we use Super Registration: learning an optimal model for the underlying image and shifting that to match the data. Our theory shows that coarse-graining oversampled images can improve registration precision of the standard method. For oversampled data, our method does not yield striking improvements as measured by eye. In these cases, however, we show our new registration method can lead to dramatic improvements in extractable information, for example, inferring $10 imes$ more precise particle positions.

연구 동기 및 목표

• 관측된 이미지 등록 오차와 이론적 크래머-라오 경계(CRB) 사이의 오랫동안 지속된 괴리 현상을 해결하기 위해.
• 표준 이미지 등록 방법에서 발생하는 편향의 근본 원인, 특히 이동 불확실성에서의 제곱 노이즈 스케일링 현상을 규명하기 위해.
• 관측된 데이터를 직접 이동시키는 대신 잠재 이미지를 모델링함으로써 크래머-라오 경계를 달성하는 등록 방법을 개발하기 위해.
• 粗화(coarse-graining)가 정밀도를 향상시킬 수 있으며, 베이지안 추론을 통한 최적의 모델 선택이 등록에서 초해상도 유사 성능을 가능하게 함을 보여주기 위해.
• 정밀도가 중요한 분야인 입자 추적 및 다중 모odal 의료 영상과 같은 실용적 응용 분야로 방법을 확장하기 위해.

제안 방법

• 이 방법은 이미지 등록을 베이지안 추론 문제로 재정의하여 진짜 이미지 I를 잠재 변수로 모델링하고, 이동된 모델 TΔI가 관측된 노이즈 있는 이미지 φ와 ψ와 가장 잘 일치하도록 이동량 Δ를 추론한다.
• 데이터와 모델 간 제곱 차이를 기반으로 한 가능도 함수를 사용하며, p(φ,ψ|Δ,I) ∝ exp(−1/(2σ²)(||φ−I||² + ||ψ−TΔI||²))로 표현되며, 잠재 이미지를 통합하여 근사화한다.
• I에 대해 푸리에 급수 또는 체비셰프 다항식 모델을 사용하며, 모델 복잡도 M은 베이지안 모델 선택을 통해 증거를 최대화함으로써 선택된다.
• 비선형 최소 제곱법(예: 레븐버그-마르카르트 알고리즘)을 사용하여 사후분포 p(Δ|φ,ψ)를 최적화함으로써 이동량 Δ를 추정하며, 직접 이미지 이동 방식에서 발생하는 편향을 피한다.
• 이 방법의 계산 복잡도는 L장의 이미지에 대해 O(LNM)이며, 확률적 경사 하강법 또는 GPU 가속을 통해 추가 최적화가 가능하다.
• 이미지 형성 과정을 모델링함으로써 체인 룰을 적용하여 비정적 변형과 다중 모달 영상으로 일반화한다.

실험 결과

연구 질문

• RQ1 표준 이미지 등록 방법은 낮은 노이즈 조건에서도 크래머-라오 경계(CRB)보다 훨씬 큰 편향과 오차를 보이는 이유는 무엇인가?
• RQ2 표준 등록에서 이동 불확실성의 제곱 노이즈 스케일링 현상의 근본 원인은 무엇이며, 이는 CRB가 예측하는 선형 스케일링과 어떻게 다를까?
• RQ3 데이터를 굵게 다듬는(coarse-graining) 것이 등록 정밀도를 향상시킬 수 있는가? 어떤 조건에서 효과가 있는가?
• RQ4 관측된 노이즈 있는 이미지를 직접 비교하는 대신 잠재 이미지를 모델링함으로써 이동 추정에서 크래머-라오 경계를 달성할 수 있는가?
• RQ5 슈퍼 레지스트레이션은 입자 추적과 같은 후행 작업에서 얼마나 향상시키며, 그 정도는 어느 정도인가?

주요 결과

• 한 이미지를 다른 이미지에 직접 이동시키는 기존 방법은 본질적으로 편향이 있으며, 가장자리 효과와 노이즈에 의한 분산의 제곱 스케일링으로 인해 크래머-라오 경계(CRB)에 도달할 수 없다.
• 과표본화된 이미지를 굵게 다듬는(coarse-graining) 것은 이동 정밀도를 크게 향상시킬 수 있지만, 이는 잠재 이미지의 최고 주파수를 알고 있을 때에만 효과가 있다.
• 진짜 이미지를 모델링하고 이를 데이터에 맞추어 이동시키는 슈퍼 레지스트레이션(SR)은 주기적 및 비주기적 이미지 모두에서 크래머-라오 경계를 달성하고 편향을 제거한다.
• 주기적 이미지의 경우 SR에서 푸리에 급수 모델을 사용하면 이동 오차가 CRB와 일치함을 확인하여 이론적 최적성을 입증한다.
• 비주기적 이미지에서 체비셰프 다항식 모델을 사용할 경우, 시각적 품질 향상이 미미한 상태에서도 표준 방법보다 편향과 기대 오차를 줄일 수 있다.
• SR 재구성 이미지를 사용한 입자 추적은 표준 등록 방법 대비 최대 10배 높은 정밀도를 달성하여 실험 물리학 및 현미경 분야에서 실용적 영향을 입증한다.