[논문 리뷰] Quicksilver: Fast Predictive Image Registration - a Deep Learning Approach

Xiao Yang, Roland Kwitt외 2명|arXiv (Cornell University)|2017. 03. 31.

Medical Image Segmentation Techniques참고 문헌 45인용 수 13

한 줄 요약

Quicksilver는 LDDMM 프레임워크 내에서 패치 기반 인코더-디코더 네트워크를 통해 초기 운동량을 예측하는 딥러닝 기반 방법을 제안한다. 이는 빠르고 정확한 탄성 이미지 정렬을 가능하게 하며, GPU 최적화된 LDDMM 대비 최대 100배 빠른 속도를 기록하면서도, 디퍼모픽 성질을 유지하고, 불확실성 추정 및 보정 네트워크를 통해 성능을 향상시킨다.

ABSTRACT

This paper introduces Quicksilver, a fast deformable image registration method. Quicksilver registration for image-pairs works by patch-wise prediction of a deformation model based directly on image appearance. A deep encoder-decoder network is used as the prediction model. While the prediction strategy is general, we focus on predictions for the Large Deformation Diffeomorphic Metric Mapping (LDDMM) model. Specifically, we predict the momentum-parameterization of LDDMM, which facilitates a patch-wise prediction strategy while maintaining the theoretical properties of LDDMM, such as guaranteed diffeomorphic mappings for sufficiently strong regularization. We also provide a probabilistic version of our prediction network which can be sampled during the testing time to calculate uncertainties in the predicted deformations. Finally, we introduce a new correction network which greatly increases the prediction accuracy of an already existing prediction network. We show experimental results for uni-modal atlas-to-image as well as uni- / multi- modal image-to-image registrations. These experiments demonstrate that our method accurately predicts registrations obtained by numerical optimization, is very fast, achieves state-of-the-art registration results on four standard validation datasets, and can jointly learn an image similarity measure. Quicksilver is freely available as an open-source software.

연구 동기 및 목표

• LDDMM의 이론적 보장 사항을 유지하면서도 계산 시간을 극적으로 줄이는 빠르고, 미분 가능한 이미지 정렬 방법을 개발한다.
• 고해상도 데이터를 사용하는 대규모 신경영상 연구에 실시간 또는 근접 실시간 정렬을 가능하게 한다.
• 반복 최적화를 피하기 위해 이미지 외관에서 직접 변형 필드를 예측하는 딥 네트워크를 사용한다.
• 특히 큰 또는 복잡한 변형이 발생하는 영역에서 예측된 변형의 불확실성 정량화를 제공한다.
• 최소한의 계산 부담으로 예측 정확도를 향상시키는 보정 네트워크를 도입한다.

제안 방법

• 이미지 쌍에서 LDDMM 모델의 초기 운동량 파arameterization을 예측하기 위해 딥 인코더-디코더 컨볼루션 신경망을 훈련한다.
• 패치 기반 예측을 통해 효율적이고 병렬 처리 가능한 추론을 가능하게 하며, 수신 필드 설계를 통해 공간적 맥락을 유지한다.
• 충분한 정규화가 이루어질 경우 부드럽고 역행성 변환을 보장하는 운동량 필드를 예측함으로써 LDDMM의 디퍼모픽 성질을 활용한다.
• 추론 중 몬테카를로 샘플링을 통해 불확실성 추정을 가능하게 하는 확률적 네트워크 변형을 도입한다.
• 초기 예측을 보정하기 위해 별도의 보정 네트워크를 훈련시키며, 추론 시간이 2배로 증가하는 데 그친다.
• 훈련 과정에서 이미지 유사도 측정 기준을 함께 학습함으로써 외부 손실 함수 없이도 정렬 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 LDDMM 프레임워크 내에서 이론적 디퍼모픽 성질을 유지하면서도 고정확도와 고속도로 변형 필드를 예측할 수 있는가?
• RQ2 패치 기반 예측은 병렬 처리 및 다중 GPU 환경에서의 확장성 확보를 위해 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 불확실성 추정이 예측 네트워크에 안정적으로 통합되어 큰 변형 또는 이미지 불일치 영역을 식별할 수 있는가?
• RQ4 보정 네트워크는 계산 비용을 크게 증가시키지 않으면서도 초기 예측의 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 이 방법은 단일 및 다중 모odal 이미지 정렬 작업 전반에 일반화되어 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• Quicksilver는 네 가지 표준 검증 데이터셋에서 기존의 학습 기반 및 최적화 기반 방법을 능가하는 최신 기술 수준의 정렬 정확도를 달성한다.
• GPU 가속 LDDMM 대비 정렬 시간을 최대 두 자릿수 감소시켜 3D 뇌 이미지의 추론 속도가 1초 이내로 도달한다.
• 보정 네트워크는 추론 시간이 2배로 증가하는 데 그치며 예측 정확도를 향상시켜 실용적인 시간 프레임 내에서 고정밀 결과를 제공한다.
• 확률적 네트워크가 생성한 불확실성 맵은 큰 변형 또는 외관 변화가 발생하는 영역을 식별하며, 잠재적인 병리적 영역을 시사한다.
• 다중 GPU 추론을 지원하여 클러스터 환경에서 추가적인 속도 향상을 가능하게 하며, 여러 GPU 간 런타임이 효율적으로 스케일링된다.
• 이 방법은 이미지 유사도 측정 기준을 함께 학습함으로써 수작업으로 설계된 또는 외부 유사도 메트릭이 필요 없어진다.