[논문 리뷰] NeurReg: Neural Registration and Its Application to Image Segmentation

Wentao Zhu, Andriy Myronenko외 6명|arXiv (Cornell University)|2019. 10. 04.

Medical Image Segmentation Techniques참고 문헌 46인용 수 4

한 줄 요약

NeurReg는 이동 이미지의 변형을 시뮬레이션하고, 이동장치 필드 감독과 데이터 유사성 손실의 하이브리드 손실을 조합함으로써 최신 기술 수준의 정확도를 달성하며, 빠른 추론을 가능하게 하는 딥러닝 기반의 이미지 정렬 프레임워크를 제안한다. 이는 히포크라마스 및 프로스타트와 같은 공개 데이터셋에서 분할 성능 향상, 불확실성 추정 및 해석 가능성 향상을 위해 이중 정렬과 잔차 분할 블록을 활용한 다중 작업 학습으로 확장된다.

ABSTRACT

Registration is a fundamental task in medical image analysis which can be applied to several tasks including image segmentation, intra-operative tracking, multi-modal image alignment, and motion analysis. Popular registration tools such as ANTs and NiftyReg optimize an objective function for each pair of images from scratch which is time-consuming for large images with complicated deformation. Facilitated by the rapid progress of deep learning, learning-based approaches such as VoxelMorph have been emerging for image registration. These approaches can achieve competitive performance in a fraction of a second on advanced GPUs. In this work, we construct a neural registration framework, called NeurReg, with a hybrid loss of displacement fields and data similarity, which substantially improves the current state-of-the-art of registrations. Within the framework, we simulate various transformations by a registration simulator which generates fixed image and displacement field ground truth for training. Furthermore, we design three segmentation frameworks based on the proposed registration framework: 1) atlas-based segmentation, 2) joint learning of both segmentation and registration tasks, and 3) multi-task learning with atlas-based segmentation as an intermediate feature. Extensive experimental results validate the effectiveness of the proposed NeurReg framework based on various metrics: the endpoint error (EPE) of the predicted displacement field, mean square error (MSE), normalized local cross-correlation (NLCC), mutual information (MI), Dice coefficient, uncertainty estimation, and the interpretability of the segmentation. The proposed NeurReg improves registration accuracy with fast inference speed, which can greatly accelerate related medical image analysis tasks.

연구 동기 및 목표

• 기존 반복 최적화 방법의 계산 비용 문제를 해결하고, 빠르고 정확한 딥러닝 기반의 이미지 정렬 방법을 개발한다.
• 감독된 이동장치 필드 손실과 비감독된 데이터 유사성 손실을 조합하여 일반화 능력과 정렬 정확도를 향상시킨다.
• 정렬과 분할 간의 공유 표현을 활용하여 정렬 프레임워크를 다중 작업 학습으로 확장한다.
• 학습된 정렬 필드와 역전파된 맵을 활용해 분할의 해석 가능성과 불확실성 추정을 향상시킨다.
• Dice, EPE, MSE, NLCC와 같은 종합적인 지표를 포함해 공개 데이터셋에서 프레임워크의 성능을 검증한다.

제안 방법

• 정렬 시뮬레이터가 이동 이미지에 대해 이동, 회전, 스케일링, 탄성 변형 등의 합성 변형을 적용하여 고정 이미지와 지도 이동장치 필드를 생성한다.
• U-Net 아키텍처가 이동장치 필드를 파arameter화하고, 공간 변형 네트워크가 이동 이미지를 시뮬레이션된 고정 이미지로 왜곡한다.
• 하이브리드 손실은 예측된 필드와 지도 필드 간의 L2 손실(이동장치 필드 감독)과 데이터 유사성(NLCC, MI, MSE)을 조합하여 정확도와 일반화 능력의 균형을 이룬다.
• 이중 정렬 방식은 실제 학습 이미지와 시뮬레이션된 고정 이미지 양쪽에 대해 이동/아틀라스 이미지의 정렬을 강제함으로써 특징 학습을 향상시킨다.
• 다중 작업 프레임워크에 잔차 분할 블록을 통합하여 분할 성능을 향상시킨다.
• 다양한 아틀라스 정렬에 대한 앙상블 예측에서 유도된 불확실성 맵을 생성하고, 역정렬 필드와 역전파된 예측 맵을 통해 모델의 투명성을 향상시킨다.

실험 결과

연구 질문

• RQ1 이동장치 필드 감독과 데이터 유사성 손실을 조합한 하이브리드 손실이 딥러닝 기반 이미지 정렬의 정확도와 일반화 능력을 향상시킬 수 있는가?
• RQ2 정렬 시뮬레이터가 강건한 정렬 네트워크를 훈련하기 위해 다양한 실재성 있는 변형을 효과적으로 시뮬레이션할 수 있는가?
• RQ3 정렬과 분할을 공동으로 수행하는 다중 작업 학습이 단독 방법에 비해 분할 성능을 향상시킬 수 있는가?
• RQ4 학습된 정렬 필드가 의료 영상에서 분할의 해석 가능성과 불확실성 추정을 향상시킬 수 있는가?
• RQ5 제안된 프레임워크가 공개 의료 영상 데이터셋에서 빠른 추론과 함께 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• NeurReg는 히포크라마스 데이터셋에서 78.99 ± 6.24 / 78.72 ± 7.47의 Dice 스코어를 기록하여 VoxelMorph 및 ANTs, NiftyReg와 같은 기존 전통적 도구를 초월하는 최고의 정렬 성능을 달성한다.
• 잔차 분할 블록을 통합한 다중 작업 학습 버전(Ours (Feat.))는 히포크라마스 데이터셋에서 89.18 ± 3.50 / 87.39 ± 3.42의 Dice 스코어를 기록하여 더 많은 파rameter와 사전학습이 필요한 더 큰 3D U-Net과 유사한 성능을 보인다.
• 프로스타트 데이터셋에서 최고 성능을 기록한 버전(Ours (Feat.))는 44.30 ± 17.60 / 82.38 ± 3.46의 Dice 스코어를 기록하여 VoxelMorph 및 기타 기준 모델을 크게 앞서나간다.
• 아틀라스 기반 프레임워크에서 유도된 불확실성 맵은 분할 경계 근처의 고불확실성 영역을 강조하며, 임상적 기대와 일치하는 오류 발생 가능 영역을 반영한다.
• 역정렬 필드와 역전파된 예측 맵은 영상 외관과 분할 결정 간의 해석 가능한 연결 고리를 제공하여 모델의 투명성을 향상시킨다.
• 엔드 투 엔드 딥러닝 아키텍처 덕분에 빠른 추론 속도를 확보하여, 후속 의료 영상 분석 작업의 가속화를 가능하게 한다.