[논문 리뷰] A survey on deep learning in medical image registration: new technologies, uncertainty, evaluation metrics, and beyond

Junyu Chen, Yihao Liu외 6명|arXiv (Cornell University)|2023. 07. 28.

Medical Image Segmentation Techniques인용 수 7

한 줄 요약

이 종합 검토는 의료 영상 정렬 분야의 딥러닝에 대해 최신 기술 동향을 종합적으로 다루며, 네트워크 아키텍처, 손실 함수, 불확실성 추정, 평가 지표 등 최근의 발전을 포함한다. 특히 가역성 기반 유사도 측정, 디퍼모픽 정규화, 불확실성 정량화와 같은 새로운 기법들을 강조하며, 성능 평가 및 임상 적용 가능성에 대한 비판적 분석을 제공한다.

ABSTRACT

Deep learning technologies have dramatically reshaped the field of medical image registration over the past decade. The initial developments, such as regression-based and U-Net-based networks, established the foundation for deep learning in image registration. Subsequent progress has been made in various aspects of deep learning-based registration, including similarity measures, deformation regularizations, network architectures, and uncertainty estimation. These advancements have not only enriched the field of image registration but have also facilitated its application in a wide range of tasks, including atlas construction, multi-atlas segmentation, motion estimation, and 2D-3D registration. In this paper, we present a comprehensive overview of the most recent advancements in deep learning-based image registration. We begin with a concise introduction to the core concepts of deep learning-based image registration. Then, we delve into innovative network architectures, loss functions specific to registration, and methods for estimating registration uncertainty. Additionally, this paper explores appropriate evaluation metrics for assessing the performance of deep learning models in registration tasks. Finally, we highlight the practical applications of these novel techniques in medical imaging and discuss the future prospects of deep learning-based image registration.

연구 동기 및 목표

• 기존 검토에서의 격차를 메우기 위해 딥러닝 기반 의료 영상 정렬 분야의 최신 발전을 시기적절하고 종합적으로 검토하는 것.
• 영상 정렬에 특화된 네트워크 아키텍처, 손실 함수, 정규화 기법의 최근 혁신을 분석하는 것.
• 딥러닝 모델에서의 정렬 불확실성 추정을 체계화하고 조사하는 것—중요하지만 아직 충분히 탐색되지 않은 분야.
• 현대적인 정확도, 균형성, 내구성 평가 지표를 평가하고 비교하는 것.
• 아틀라스 구축, 다중아틀라스 세그멘테이션, 운동 추적과 같은 임상 작업에서의 실용적 응용을 부각하는 것.

제안 방법

• 2018~2023년 사이에 개최된 최고 수준의 의료영상 및 인공지능 학술 회의 및 저널에서 발표된 250편 이상의 최근 논문을 체계적으로 검토.
• 아키텍처 유형별로 딥러닝 기반 정렬 방법을 분류 및 분석: 변형 정렬을 위한 인코더-디코더(예: U-Net, ResNet 기반)와 강성/아핀 정렬을 위한 인코더 전용.
• 가역성 기반 유사도 측정(예: 정규화된 상관관계, 국소 상관관계) 및 매끄럽고 비틀림이 없는 변형을 보장하기 위한 정규화 손실 함수를 포함한 신규 손실 함수 검토.
• 예측 신뢰도를 정량화하기 위해 몬테카를로 드롭아웃, 베이지안 신경망, 앙상블 방법 등 불확실성 추정 기법 탐색.
• 목표 정렬 오차(TRE), Dice 점수, 임계행렬 행렬식(Jacobian determinant)을 활용해 정렬 성능 평가.
• 시간적 일관성, 계산 효율성, 다양한 길이의 영상 시퀀스 처리 등 4D 운동 추적 분야의 새로운 과제 논의.

실험 결과

연구 질문

• RQ1 딥러닝 기반 아키텍처는 기존의 최적화 기반 방법(예: SyN, LDDMM)에 비해 의료 영상 정렬의 정확성과 효율성을 어떻게 향상시켰는가?
• RQ2 딥러닝 기반 정렬에서 물리적으로 타당하고 매끄러운 변형 필드를 확보하기 위해 가장 효과적인 손실 함수와 정규화 전략은 무엇인가?
• RQ3 딥러닝 기반 영상 정렬의 불확실성은 어떻게 체계적으로 정의하고 정량화할 수 있으며, 임상 의사결정 지원에 어떻게 기여할 수 있는가?
• RQ4 임상 환경에서 딥러닝 기반 정렬 모델의 품질, 정확성, 내구성을 가장 잘 반영하는 평가 지표는 무엇인가?
• RQ5 동적 영상(예: 4D-CT, 시네-MRI)에서 장기적인 시간적 추적을 위한 딥러닝 기반 정렬의 핵심 과제와 기회는 무엇인가?

주요 결과

• 딥러닝 기반 정렬 방법은 기존의 반복적 최적화 방법(SyN, LDDMM 등)에 비해 속도가 수십 배에서 수백 배 빠르게 향상된다.
• U-Net 및 ResNet 기반의 인코더-디코더 네트워크는 변형 정렬 분야에서 주요 아키텍처로 자리 잡아 고해상도의 조밀한 이동장 예측을 가능하게 했다.
• 가역성 기반 유사도 측정(예: 국소 상관관계, 정규화된 상호정보량)은 특히 저대비도 또는 저대비도 모odal 영상에서 정렬 정확도를 향상시켰다.
• 몬테카를로 드롭아웃 및 베이지안 네트워크를 통한 불확실성 추정은 신뢰도 지도를 신뢰할 만하게 제공하여 임상 워크플로우에서 신뢰할 수 없는 영역을 식별하는 데 기여한다.
• 목표 정렬 오차(TRE)와 해부학적 구조에 대한 Dice 점수 평가 결과는 임상적 관련성과 강한 상관관계를 보였으며, 임계행렬 행렬식 분석을 통해 현대 모델에서 더 나은 매끄러움과 디퍼모픽 성질이 확보됨을 확인했다.
• 학습 기반 아틀라스 구축 방법은 기존 평균화 기법에 비해 더 선명하고 대비가 높은 템플릿을 생성하여 뇌 영상 외에도 심장, Abdomen 등 다양한 해부학적 영역에 광범위하게 적용 가능하게 했다.