[논문 리뷰] Fetal Pose Estimation in Volumetric MRI using a 3D Convolution Neural Network

Junshen Xu, Molin Zhang외 6명|arXiv (Cornell University)|2019. 07. 10.

Fetal and Pediatric Neurological Disorders참고 문헌 6인용 수 6

한 줄 요약

이 논문은 볼륨형 MRI에서 태아 자세 추정을 위한 이단계 3D 컨volution 신경망 프레임워크를 제안한다. 히트맵 예측 후 마르코프 무작위장(MRF) 보정을 통해 정확도를 향상시킨다. 평균 오차는 4.47 mm이며, 오차 <10 mm 비율은 96.4%에 달한다. 볼륨당 추론 시간이 1초 이내로, 임상 MRI에서 실시간 태아 운동 추적을 가능하게 한다.

ABSTRACT

The performance and diagnostic utility of magnetic resonance imaging (MRI) in pregnancy is fundamentally constrained by fetal motion. Motion of the fetus, which is unpredictable and rapid on the scale of conventional imaging times, limits the set of viable acquisition techniques to single-shot imaging with severe compromises in signal-to-noise ratio and diagnostic contrast, and frequently results in unacceptable image quality. Surprisingly little is known about the characteristics of fetal motion during MRI and here we propose and demonstrate methods that exploit a growing repository of MRI observations of the gravid abdomen that are acquired at low spatial resolution but relatively high temporal resolution and over long durations (10-30 minutes). We estimate fetal pose per frame in MRI volumes of the pregnant abdomen via deep learning algorithms that detect key fetal landmarks. Evaluation of the proposed method shows that our framework achieves quantitatively an average error of 4.47 mm and 96.4\% accuracy (with error less than 10 mm). Fetal pose estimation in MRI time series yields novel means of quantifying fetal movements in health and disease, and enables the learning of kinematic models that may enhance prospective mitigation of fetal motion artifacts during MRI acquisition.

연구 동기 및 목표

• 태아 MRI에서 영상 품질과 진단 유용성을 저해하는 주요 문제인 태아 운동 아티팩트를 해결하기 위해.
• 저해상도이지만 고시간 해상도를 갖춘 3D MRI 시간 시리즈에서 태아 자세를 자동으로 실시간으로 추정하는 방법을 개발하기 위해.
• 수동 레이블링과 전통적 운동 추적의 한계를 극복하기 위해 딥러닝을 활용한 관절점 검출 기술을 도입하기 위해.
• 정확하고 빠른 자세 추정을 통해 태아 MRI에서 사전 운동 보정 및 운동역학 모델링을 가능하게 하기 위해.
• 희소한 진정값을 갖는 볼륨형 의료 영상에서 3D 자세 추정에 딥러닝을 구현할 수 있는지의 가능성을 입증하기 위해.

제안 방법

• 이중 단계 프레임워크를 제안한다: 첫 번째로, 3D 아워글라스 컨volution 신경망이 입력 MRI 볼륨에서 15개의 태아 관절점 위치에 대한 3D 히트맵을 생성한다.
• 신경망은 엔코더-디코더 아키텍처를 사용하며, 요소별 덧셈을 통한 스킵 연결을 통해 다양한 척도 간의 공간적 및 특징 정보를 유지한다.
• 두 번째 단계에서는 마르코프 무작위장(MRF) 모델이 관절 간 해부학적으로 타당한 공간적 관계를 강제하여 관절점 예측을 보정한다.
• MRF는 히트맵의 모호함을 해결하고, 잘못된 정점 검출을 줄이며 정확도를 향상시키기 위해 추론을 수행한다.
• 모델은 70명의 임산부에서 확득한 18,000개의 EPI 볼륨 데이터셋을 기반으로 훈련되었으며, 관절점 레이블은 시각적 검토를 통해 확보되었다.
• 엔드 투 엔드 추론은 볼륨당 1초 이내로 수행되며, CNN은 GPU에서 225ms, MRF 최적화는 CPU에서 290ms 소요된다.

실험 결과

연구 질문

• RQ1 저해상도이지만 고시간 해상도를 갖춘 MRI 시간 시리즈에서 딥러닝을 3D 태아 자세 추정에 효과적으로 적용할 수 있는가?
• RQ2 마르코프 무작위장(MRF)을 통한 해부학적 제약 조건 통합이 직접 히트맵 피크 검출에 비해 관절점 정위치 정확도를 얼마나 향상시키는가?
• RQ3 3D CNN 기반 자세 추정 파이프라인의 태아 MRI에서 달성 가능한 정확도와 계산 효율성은 어느 정도인가?
• RQ4 이 프레임워크는 임상 태아 MRI 촬영 중 실시간, 저지연 자세 추적을 지원할 수 있는가?
• RQ5 제한된 진정값을 바탕으로 하여 이 방법은 다양한 태아 자세와 임신 주수에 대해 일반화 가능한가?

주요 결과

• 제안된 방법은 모든 15개의 태아 랜드마크에 대해 예측값과 진정값 간 평균 오차가 4.47 mm로 도출되었다.
• 예측된 관절점 중 96.4%가 진정 위치에서 10 mm 이내에 위치하여 높은 강건성과 정확도를 입증하였다.
• 3D 아워글라스 네트워크는 3D U-Net보다 파rameter 효율성이 뛰어나 3.5M 파라미터로 구현되었고, 성능은 유사하게 유지되었다.
• MRF 보정 단계는 해부학적으로 연결된 관절 간의 일관성을 향상시켜 히트맵 피크에서 유래한 잘못된 예측을 수정함으로써 오차를 감소시켰다.
• 엔드 투 엔드 처리 시간은 볼륨당 1초 이내로, MRI 촬영 중 실시간 자세 추적을 가능하게 하였다.
• 단일 임신 사례에 대해서만 훈련되었음에도 불구하고, 이 방법은 사전 운동 보정 및 운동역학 모델링에 대한 실현 가능성을 입증하였다.