[논문 리뷰] Real-time Deep Registration With Geodesic Loss.

Seyed Sadegh Mohseni Salehi, Shadab Khan외 2명|arXiv (Cornell University)|2018. 03. 15.

Fetal and Pediatric Neurological DisordersMedicine참고 문헌 25인용 수 18

한 줄 요약

이 논문은 3D 포즈(회전 및 이동)를 각도-축 표현을 통해 예측하는 회귀 CNN을 사용하여 실시간 딥러닝 기반 3D 의료 영상 정합을 제안한다. 지오데식 손실은 정확도와 캡처 범위를 크게 향상시킨다. 이 방법은 태아 및 신생아 뇌 MRI에서 100ms 이내의 추론을 달성하며, 조건부 GAN 기반 도메인 적응을 통해 다양한 영상 대trast 간 일반화를 이룩하고, 최적화 기반 정합 파이프라인을 향상시킨다.

ABSTRACT

With an aim to increase the capture range and accelerate the performance of state-of-the-art inter-subject and subject-to-template 3D registration, we propose deep learning-based methods that are trained to find the 3D position of arbitrarily oriented subjects or anatomy based on slices or volumes of medical images. For this, we propose regression CNNs that learn to predict the angle-axis representation of 3D rotations and translations using image features. We use and compare mean square error and geodesic loss for training regression CNNs in two different scenarios: 3D pose estimation from slices and 3D to 3D registration. As an exemplary application, we applied the proposed methods to register arbitrarily oriented reconstructed images of fetuses scanned in-utero at a wide gestational age range to a standard atlas space. Our results show that in such registration applications that are amendable to learning, the proposed deep learning methods with geodesic loss minimization can achieve accurate results with a wide capture range in real-time (<100ms). We tested the generalization capability of the trained CNNs on an expanded age range and on images of newborn subjects with similar and different MR image contrasts. We trained our models on T2-weighted fetal brain MRI scans and used them to predict the 3D position of newborn brains based on T1-weighted MRI scans. We showed that trained models generalized well for the new domain when we performed image contrast transfer through a conditional generative adversarial network. This indicates that the domain of application of the trained deep regression CNNs can be further expanded to image modalities and contrasts other than those used in training. A combination of our proposed methods with optimization-based registration algorithms can dramatically enhance the performance of automatic imaging devices and image processing methods of the future.

연구 동기 및 목표

• 의료 영상에서 최신의 인트라-개체 및 개체-템플릿 3D 정합 방법의 제한된 캡처 범위와 느린 속도 문제를 해결한다.
• 임의의 방향을 가진 해부학적 구조를 위한 2D 슬라이스 또는 3D 볼륨에서 실시간, 정확한 3D 포즈 추정을 가능하게 한다.
• 조건부 GAN을 통한 도메인 적응을 활용하여 다양한 영상 대비와 연령 범위 간의 일반화를 향상시킨다.
• 지오데식 손실이 3D 정합을 위한 회전 및 이동 파rameter 학습에서 평균 제곱 오차보다 우수한 성능을 보임을 입증한다.
• 학습된 초기화를 최적화 기반 정합 파이프라인에 통합하여 향후 자동 영상 시스템의 성능을 향상시킨다.

제안 방법

• 입력 의료 영상에서 3D 회전 및 이동의 각도-축 표현을 회귀하는 컨volutional 신경망(CNN)을 훈련한다.
• 회전 및 이동 정확도를 최적화하기 위해 평균 제곱 오차(MSE)와 지오데식 손실을 비교한다.
• 모델을 2D 슬라이스에서의 3D 포즈 추정 및 전체 3D 볼륨 간 정합 작업에 적용한다.
• 조건부 생성적 적대적 네트워크(cGAN)를 사용하여 T2-가중 태아 뇌 MRI의 영상 대비를 T1-가중 신생아 뇌 MRI로 이전하여 도메인 일반화를 달성한다.
• 딥 레지션 예측 결과를 최적화 기반 정합 파이프라인의 초기 추정치로 통합하여 수렴 속도와 정확도를 향상시킨다.
• 넓은 임신 기간 범위의 자궁 내 태아 MRI와 다양한 대비를 가진 신생아 T1-가중 스캔에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 지오데식 손실이 평균 제곱 오차에 비해 딥러닝 기반 3D 포즈 추정의 정확도와 캡처 범위를 향상시키는가?
• RQ2 T2-가중 태아 뇌 MRI에서 훈련된 CNN이 다른 영상 대비를 가진 T1-가중 신생아 뇌 MRI로 일반화되는 정도는 어느 정도인가?
• RQ3 딥 레지션과 최적화 기반 정합의 조합이 전체 정합 성능 향상에 얼마나 효과적인가?
• RQ4 조건부 GAN이 성공적인 영상 대비 이전을 가능하게 하여 훈련된 레지션 모델의 도메인 적용 범위를 확장할 수 있는가?
• RQ5 제안된 방법의 추론 속도는 얼마이며, 임상 적용을 위한 실시간 성능(<100ms)을 달성할 수 있는가?

주요 결과

• 제안된 방법은 100ms 이내의 추론 시간을 달성하여 임상 워크플로우에 실용적으로 구현 가능하다.
• 지오데식 손실은 특히 회전 성분에서 평균 제곱 오차에 비해 정확도와 캡처 범위를 크게 향상시킨다.
• 조건부 GAN 기반 영상 번역과 결합할 경우, 훈련된 CNN은 다른 대비를 가진 신생아 뇌 MRI 스캔으로도 잘 일반화된다.
• 학습 분포를 초월한 확장된 연령 범위에서 테스트했을 때도 높은 정확도를 유지하여 강력한 내성성을 보인다.
• 학습된 초기화를 최적화 기반 방법과 통합함으로써 수렴 속도가 빨라지고 최종 정합 정확도가 향상된다.
• 이 방법은 영상 모odalities 간 이식성이 뛰어나, 특정 훈련 데이터를 초월한 광범위한 적용 가능성을 시사한다.