[논문 리뷰] DiffuseMorph: Unsupervised Deformable Image Registration Using Diffusion Model

Boah Kim, Inhwa Han외 1명|arXiv (Cornell University)|2021. 12. 09.

Medical Image Segmentation Techniques인용 수 4

한 줄 요약

DiffuseMorph는 움직이는 이미지와 고정된 이미지를 정렬하기 위해 연속적이고 토폴로지 보존 성질을 갖는 변형 필드를 생성하는 새로운 비지도 비틀림 이미지 정렬 방법이다. 확산 모델을 활용해 변형의 스코어 함수를 학습함으로써, 연속적인 궤적을 따라 실시간으로 보간 기반의 정렬과 빠른 합성 변형 이미지 생성이 가능해지며, 2D 및 3D 의료 영상 작업에서 최신 기술 수준의 정확도를 달성하면서도 토폴로지 보존 성능이 향상되었다.

ABSTRACT

Deformable image registration is one of the fundamental tasks in medical imaging. Classical registration algorithms usually require a high computational cost for iterative optimizations. Although deep-learning-based methods have been developed for fast image registration, it is still challenging to obtain realistic continuous deformations from a moving image to a fixed image with less topological folding problem. To address this, here we present a novel diffusion-model-based image registration method, called DiffuseMorph. DiffuseMorph not only generates synthetic deformed images through reverse diffusion but also allows image registration by deformation fields. Specifically, the deformation fields are generated by the conditional score function of the deformation between the moving and fixed images, so that the registration can be performed from continuous deformation by simply scaling the latent feature of the score. Experimental results on 2D facial and 3D medical image registration tasks demonstrate that our method provides flexible deformations with topology preservation capability.

연구 동기 및 목표

• 기본 변형 필드가 없는 비지도 이미지 정렬에서 현실적이고 연속적인 변형을 생성하는 데 도전한다.
• 딥 러닝 기반 정렬에서 흔히 발생하는 토폴로지 접힘 문제를 확산 모델의 내재된 정규화 특성 덕분에 극복한다.
• 단일 통합된 확산 기반 프레임워크를 통해 고정밀도 이미지 정렬과 합성 변형 이미지 생성을 동시에 구현한다.
• 움직이는 이미지에서 고정된 이미지로의 연속적인 변형 경로를 잠재 특성의 단순 스케일링을 통해 제공함으로써 실시간 보간을 가능하게 한다.
• 앞서 진행된 확산 과정을 통해 움직이는 이미지에서 초기화함으로써 확산 과정을 가속화하고, 단계 수를 줄이며 콘텐츠를 유지한다.

제안 방법

• 이 방법은 움직이는 이미지와 고정된 이미지 쌍 간의 변형 스코어 함수를 추정하도록 훈련된 조건부 확산 모델을 사용한다.
• 변형 네트워크는 확산 모델의 스코어 함수에서 유도된 잠재 특성을 사용하여 움직이는 이미지를 왜곡하기 위한 변형 필드를 예측한다.
• 확산 모델을 움직이는 이미지와 고정된 이미지 양쪽에 조건부로 설정함으로써 공간적으로 일관되고 연속적인 변형 추정이 가능해진다.
• 추론 중에 잠재 특성 벡터를 선형적으로 스케일링함으로써 연속적인 정렬을 달성하며, 움직이는 이미지와 고정된 이미지 사이의 매끄러운 보간을 가능하게 한다.
• 합성 변형 이미지는 움직이는 이미지에서 한 번의 전방 확산 단계를 거친 후 빠른 역방향 확산 과정을 통해 생성되며, 계산량을 줄이고 콘텐츠를 유지한다.
• 정확도와 토폴로지 보존 성능을 보장하기 위해 재구성 손실과 정규화 항을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 확산 모델이 비지도 이미지 정렬을 위한 연속적이고 현실적인 변형 필드를 효과적으로 생성하는 데 적합하게 응용될 수 있는가?
• RQ2 확산 모델의 조건부 스코어 함수에서 유도된 잠재 특성이 연속 궤적을 따라 매끄럽고 보간 기반의 정렬을 가능하게 하는가?
• RQ3 제안된 방법이 고정된 이미지에 가까운 고품질의 합성 변형 이미지를 생성하면서도 해부학적 토폴로지 보존 성능을 유지할 수 있는가?
• RQ4 DiffuseMorph의 성능는 기존의 학습 기반 정렬 방법과 비교해 정렬 정확도와 토폴로지 보존 성능 측면에서 어떻게 다른가?
• RQ5 정렬 손실 하이퍼파rameter의 영향은 정확도와 필드의 규칙성 간의 상호 보완적 관계에 어떤 영향을 미치는가?

주요 결과

• 3D 심장 MRI 영상에서 DiffuseMorph는 PSNR 28.91과 NMSE 0.0018을 기록하여 기준 방법들보다 연속적 변형 품질에서 뛰어난 성능을 보였다.
• 뇌 MRI 영상 정렬에서 DiffuseMorph는 딱시 스코어 0.756 (±0.139)을 달성하여 SyN, VM, CM을 포함한 비교된 모든 방법들을 능가했다.
• 저조도의 자코비안 행렬 접힘 비율 0.505% (±0.058%)를 유지하여 강력한 토폴로지 보존 성능을 보였으며, VM-diff(0.631%)와 MSDIRNet(0.804%)를 모두 뛰어넘었다.
• 절단 분석 결과, 정렬 손실 가중치 λ를 증가시킬수록 딱시 스코어가 향상되었으며, λ=10일 때 0.756 딱시 스코어와 0.505% 접힘 비율에서 최적의 균형을 이룩했다.
• GPU에서 추론 시간은 0.01분(0.6초)으로 실시간으로 연속 궤적을 따라 정렬이 가능했다.
• 시각적 비교 결과, 더 매끄러운 변형 필드와 더 나은 정렬 성능을 보였으며, 특히 심실과 해마와 같은 복잡한 해부학적 구조에서 뚜렷하게 확인되었다.