[논문 리뷰] Multi-Planar Deep Segmentation Networks for Cardiac Substructures from MRI and CT

Aliasghar Mortazi, Jeremy R. Burt외 1명|arXiv (Cornell University)|2017. 08. 03.

Advanced Neural Network Applications참고 문헌 7인용 수 12

한 줄 요약

이 논문은 자기공명영상(MRI) 및 CT 스캔에서 일곱 개인 심장 구조물(예: 좌심실, 심장근육, 대동맥 등)을 정확하고 종단간(end-to-end)으로 분할하는 데 위한 다중 평면 딥러닝 프레임워크인 MO-MP-CNN을 제안한다. 축성, 고품질, 그리고 sagittal 평면에서 별도로 훈련된 2D CNN을 사용하고 적응형 융합 전략을 적용함으로써, CT에 대해 0.90, MRI에 대해 0.85의 높은 Dice 점수를 달성하였으며, GPU를 사용한 추론 시간은 CT 약 50초, MRI 약 17초였다.

ABSTRACT

Non-invasive detection of cardiovascular disorders from radiology scans requires quantitative image analysis of the heart and its substructures. There are well-established measurements that radiologists use for diseases assessment such as ejection fraction, volume of four chambers, and myocardium mass. These measurements are derived as outcomes of precise segmentation of the heart and its substructures. The aim of this paper is to provide such measurements through an accurate image segmentation algorithm that automatically delineates seven substructures of the heart from MRI and/or CT scans. Our proposed method is based on multi-planar deep convolutional neural networks (CNN) with an adaptive fusion strategy where we automatically utilize complementary information from different planes of the 3D scans for improved delineations. For CT and MRI, we have separately designed three CNNs (the same architectural configuration) for three planes, and have trained the networks from scratch for voxel-wise labeling for the following cardiac structures: myocardium of left ventricle (Myo), left atrium (LA), left ventricle (LV), right atrium (RA), right ventricle (RV), ascending aorta (Ao), and main pulmonary artery (PA). We have evaluated the proposed method with 4-fold-cross validation on the multi-modality whole heart segmentation challenge (MM-WHS 2017) dataset. The precision and dice index of 0.93 and 0.90, and 0.87 and 0.85 were achieved for CT and MR images, respectively. While a CT volume was segmented about 50 seconds, an MRI scan was segmented around 17 seconds with the GPUs/CUDA implementation.

연구 동기 및 목표

• MRI 및 CT 스캔에서 모든 주요 심장 구조물을 분할할 수 있는 통합된 딥러닝 프레임워크를 개발하는 것.
• 3D 의료 영상 데이터의 제한된 양에 대응하기 위해 3D 네트워크 대신 상호 수직인 여러 평면에서 훈련된 2D CNN을 활용함으로써 문제를 해결하는 것.
• 다양한 영상 평면에서의 예측를 동적으로 통합하는 적응형 융합 전략을 통해 분할 정확도를 향상시키는 것.
• 데이터 및 하드웨어 제약 조건에도 불구하고 다양한 모odalities에서 높은 효율성과 강건성을 확보하는 것.
• 이전 연구에서 좌심실 또는 좌심방과 같은 단일 구조물에 국한된 것을 넘어, 다중 구조물 및 다중 모달리티 전체 심장 분할로 확장하는 것.

제안 방법

• 방법은 축성, 고품질, 그리고 sagittal 평면을 위한 각각 별도의 2D 합성곱 신경망(CNN)을 사용하며, 각각 모odalitiy 특화 데이터에서부터 새로 훈련한다.
• 각 2D CNN은 12개의 합성곱 레이어와 스킵 연결을 포함한 인코더-디코더 아키텍처를 사용하여 정밀한 병렬 레이블링을 위한 공간적 세부 정보를 유지한다.
• 순위 기반 적응형 융합 전략을 사용하여 세 평면의 확률 맵을 융합하며, 각 구조물에 대해 예측 신뢰도와 일관성에 기반해 최적의 융합 가중치를 선택한다.
• 일반화 성능 향상을 위해 무작위 확대(1.1–1.3×), 회전(±45°), 히스토그램 매칭 등의 데이터 증강 기법을 사용하였으며, 특히 MRI의 강도 비균일성 감소에 기여하였다.
• 모델은 MM-WHS 2017 데이터셋에서 4중 교차 검증을 통해 훈련되었으며, CT(123명의 환자)와 MRI(123명의 환자)에 대해 별도의 훈련 세트를 사용하였다.
• 추론 속도 향상을 위해 NVIDIA TitanXp GPU와 TensorFlow를 사용하여 전체 심장 볼륨의 실시간 분할을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 다중 평면 2D CNN 프레임워크는 MRI 및 CT 모달리티에서 모두 일곱 개인 심장 구조물을 고정확도로 분할할 수 있는가?
• RQ2 다양한 영상 평면에서의 예측를 융합하는 데 있어 적응형 융합 전략은 분할의 강건성과 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ3 제한된 데이터에서부터 2D CNN을 새로 훈련시키는 것이 기존의 아틀라스 기반 또는 단일 모달리티 딥러닝 방법보다 전체 심장 분할에서 성능을 뛰어나게 할 수 있는가?
• RQ4 데이터 및 하드웨어 제약 조건 하에서 2D CNN 대비 3D CNN을 사용할 경우 추론 속도와 분할 정확도 사이의 상호 보완적 관계는 어떠한가?
• RQ5 모달리티 특화 전처리(예: MRI의 히스토그램 매칭)가 분할 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 MO-MP-CNN는 일곱 개인 모든 심장 구조물에 대해 CT에서 평균 Dice 지수 0.90, MRI에서 0.85를 달성하여 높은 분할 정확도를 입증하였다.
• CT에 대해 평균 민감도 0.866, MRI에 대해 0.831을 기록하였으며, 정밀도는 각각 CT 0.929, MRI 0.868로 강력한 탐지 및 국소화 성능를 보였다.
• 표면-표면(S2S) 거리는 MRI 평균 1.450 mm, CT 평균 1.551 mm로 예측된 분할과 참값 간의 해부학적 일치도가 높았다.
• 다중 GPU를 사용하여 MRI는 약 17초, CT는 약 50초 내로 전체 심장 분할을 완료하였으며, CPU 기반 추론(각각 8분, 30분)보다 뚜렷이 빠른 성능을 보였다.
• 적응형 융합 전략은 특히 오른쪽 심실 및 폐동맥과 같이 복잡한 구조물에서의 분할 일관성을 향상시켰으며, 잘못된 분할의 수를 감소시켰다.
• 모델은 높은 특이도(>0.998)를 보이며 다양한 모달리티 간에 강력한 일반화 능력을 보였으며, 특히 도식적 결과(그림 4)에서 도전적인 해부학적 영역에서도 강건성을 입증하였다.