[논문 리뷰] Fast Predictive Multimodal Image Registration

Xiao Yang, Roland Kwitt외 2명|arXiv (Cornell University)|2017. 03. 31.

Fetal and Pediatric Neurological Disorders참고 문헌 25인용 수 5

한 줄 요약

이 논문은 다중모달 이미지 유사도 측정법과 대량 변형 디퍼모픽 메트릭 매핑(LDDMM)을 위한 초기 운동량 예측을 동시에 학습하는 딥 인코더-디코더 네트워크를 제안한다. 이는 빠르고, 디퍼모픽이며 일관된 다중모달 이미지 정렬을 가능하게 한다. 이 방법은 GPU 가속 LDDMM 최적화 대비 36배 빠른 속도를 달성하면서도 높은 정확도를 유지하고, 베이지안 확률적 확장으로 통해 불확실성 추정을 제공한다.

ABSTRACT

We introduce a deep encoder-decoder architecture for image deformation prediction from multimodal images. Specifically, we design an image-patch-based deep network that jointly (i) learns an image similarity measure and (ii) the relationship between image patches and deformation parameters. While our method can be applied to general image registration formulations, we focus on the Large Deformation Diffeomorphic Metric Mapping (LDDMM) registration model. By predicting the initial momentum of the shooting formulation of LDDMM, we preserve its mathematical properties and drastically reduce the computation time, compared to optimization-based approaches. Furthermore, we create a Bayesian probabilistic version of the network that allows evaluation of registration uncertainty via sampling of the network at test time. We evaluate our method on a 3D brain MRI dataset using both T1- and T2-weighted images. Our experiments show that our method generates accurate predictions and that learning the similarity measure leads to more consistent registrations than relying on generic multimodal image similarity measures, such as mutual information. Our approach is an order of magnitude faster than optimization-based LDDMM.

연구 동기 및 목표

• T1- 및 T2-강조 대비를 가진 3D 뇌 MRI에 대해 정확하고 효율적인 다중모달 이미지 정렬 문제를 해결한다.
• 상호정보량과 같은 수작업으로 설계된 유사도 측정법의 한계를 극복하여, 일관성 없거나 최적화되지 않은 정렬을 피한다.
• 특징 엔지니어링이나 이미지 합성에 의존하지 않고, 이미지 유사도와 변형 예측을 동시에 학습하는 딥 러닝 프레임워크를 개발한다.
• 최적화 기반 LDDMM 정렬에 비해 상당한 속도 향상을 이루되, 디퍼모픽성과 같은 수학적 성질을 유지한다.
• 네트워크의 베이지안 확률적 확장으로 예측된 변형에 대한 불확실성 추정을 제공한다.

제안 방법

• 15×15×15 크기의 3D 이미지 패치를 처리하여 LDDMM 샷팅 공식의 초기 운동량을 예측하는 패치 기반 딥 인코더-디코더 네트워크를 설계한다.
• 명시적인 특징 선택이 필요 없이, 다중모달 이미지 유사도와 변형 매개변수 예측을 동시에 최적화할 수 있도록 네트워크를 엔드 투 엔드로 훈련한다.
• 학습 및 추론 모두에서 겹치는 패치를 생성하기 위해 스트라이드 14의 슬라이딩 윈도우 방식을 사용하여 국소적 맥락 모델링을 가능하게 한다.
• 테스트 시에 예측을 샘플링하고 변형장의 불확실성을 추정하기 위해 몬테카를로 드롭아웃을 활용한 네트워크의 베이지안 변종을 구현한다.
• LDDMM의 수학적 구조를 활용하여 예측된 변형이 디퍼모픽임을 보장함으로써 위상 일관성을 유지한다.
• 성능 상한선을 확보하기 위해 T1w-T1w 이미지 쌍으로, 다중모달 정렬 성능 평가를 위해 T1w-T2w 쌍으로 훈련한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 높은 정확도와 빠른 속도로 다중모달 이미지 유사도 측정법과 변형 매개변수를 동시에 학습할 수 있는가?
• RQ2 데이터 기반으로 학습한 유사도 측정법은 상호정보량과 같은 일반적인 측정법보다 정렬 일관성 측면에서 향상되는가?
• RQ3 제안된 방법이 LDDMM의 디퍼모픽 성질을 유지하면서 계산 시간을 얼마나 줄일 수 있는가?
• RQ4 한정된 데이터(예: 단지 10개의 훈련 이미지 쌍)로 훈련된 경우 네트워크의 일반화 능력은 어느 정도인가?
• RQ5 네트워크의 베이지안 확장은 다중모달 정렬 예측의 불확실성을 신뢰성 있게 정량화할 수 있는가?

주요 결과

• 제안된 방법은 GPU 가속 LDDMM 최적화 대비 평균 36배 빠른 속도를 달성했으며, 3D 이미지 쌍당 평균 추론 시간은 24.46초였다.
• T1w-T2w 네트워크의 변형 오차는 T1w-T1w 상한선 네트워크와 약간 뿐이었으며, 높은 정렬 일관성을 보였다.
• 가장 가까운 이전 방법 [20]에 비해 모든 백분위수에서 변형 오차를 2.1%에서 7.3%까지 감소시켜 일반화 능력 향상과 과적합 감소를 확인했다.
• 단지 10개의 이미지 쌍(90개의 훈련 케이스)으로만 훈련된 경우에도 네트워크가 강력한 성능을 유지하여, 제한된 데이터에 대한 강건성을 보였다.
• 베이지안 확장은 특히 뇌실 주변과 같은 다중모달 외관 차이가 가장 두드러지는 영역에서 높은 불확실성 영역을 성공적으로 식별했다.
• 상호정보량을 사용하는 NiftyReg는 T1w-T1w와 T1w-T2w 정렬 간에 상당히 일관성 없는 결과를 보였으며, 이는 학습된 유사도 측정법의 우수성을 입증한다.