[논문 리뷰] Automatic 3D bi-ventricular segmentation of cardiac images by a shape-refined multi-task deep learning approach

Jinming Duan, Ghalib Bello외 8명|arXiv (Cornell University)|2018. 08. 26.

Advanced MRI Techniques and Applications참고 문헌 35인용 수 12

한 줄 요약

이 논문은 심장 MRI에서 자동 3D 이심실 분할을 위한 형태 보정이 이루어진 다중 작업 딥 러닝 파이프라인을 제안한다. 이는 2.5D 완전 컨volution 네트워크와 기반점 기반 애틀라스 전파를 조합하여 영상 오염물질을 보정하고 해부학적 매끄러움을 보장한다. 슬라이스 정렬 오차, 두꺼운 슬라이스, 완전한 커버리지 부족에도 불구하고 건강한 환자와 폐동맥 고혈압 환자 모두에서 고해상도, 정확하고 강건한 분할을 달성한다.

ABSTRACT

Deep learning approaches have achieved state-of-the-art performance in cardiac magnetic resonance (CMR) image segmentation. However, most approaches have focused on learning image intensity features for segmentation, whereas the incorporation of anatomical shape priors has received less attention. In this paper, we combine a multi-task deep learning approach with atlas propagation to develop a shape-constrained bi-ventricular segmentation pipeline for short-axis CMR volumetric images. The pipeline first employs a fully convolutional network (FCN) that learns segmentation and landmark localisation tasks simultaneously. The architecture of the proposed FCN uses a 2.5D representation, thus combining the computational advantage of 2D FCNs networks and the capability of addressing 3D spatial consistency without compromising segmentation accuracy. Moreover, the refinement step is designed to explicitly enforce a shape constraint and improve segmentation quality. This step is effective for overcoming image artefacts (e.g. due to different breath-hold positions and large slice thickness), which preclude the creation of anatomically meaningful 3D cardiac shapes. The proposed pipeline is fully automated, due to network's ability to infer landmarks, which are then used downstream in the pipeline to initialise atlas propagation. We validate the pipeline on 1831 healthy subjects and 649 subjects with pulmonary hypertension. Extensive numerical experiments on the two datasets demonstrate that our proposed method is robust and capable of producing accurate, high-resolution and anatomically smooth bi-ventricular 3D models, despite the artefacts in input CMR volumes.

연구 동기 및 목표

• 짧은 축 심장 MRI에서 발생하는 오염물질에 의한 정확도 저하 문제를 해결하기 위해.
• 애틀라스 전파를 통한 명시적 형태 사전 지식 통합을 통해 분할의 매끄러움과 해부학적 타당성을 향상시키기 위해.
• 비정적 정렬을 위한 강건한 초기화를 위해 기반점 검출을 활용하는 완전 자동 파이프라인 개발을 위해.
• 2.5D 네트워크 설계를 통해 계산 비용을 줄이며도 높은 분할 정확도를 유지하기 위해.
• 폐동맥 고혈압을 포함한 다양한 인구 집단, 특히 병적 사례에서의 성능을 검증하기 위해.

제안 방법

• 2.5D 완전 컨volution 네트워크(FCN)를 훈련하여 짧은 축 심장 MRI 슬라이스에서 동시에 분할 마스크를 예측하고 기반점을 국소화한다.
• 2.5D 아키텍처는 3D 공간 일관성을 유지하면서도 3D 네트워크의 높은 계산 비용을 피하기 위해 스택된 2D 슬라이스에 2D 컨볼루션을 사용한다.
• FCN에서 예측한 기반점은 다중 애틀라스 프레임워크에서 비정적 정렬을 초기화하는 데 사용된다. 이는 형태 보정을 위해 사용된다.
• 애틀라스 전파 과정은 기반점 유사도를 기반으로 가장 유사한 애틀라스를 선택하고, 비국소 레이블 융합을 수행하여 보정된 분할을 생성한다.
• 형태 보정 단계는 인구 애틀라스에서의 사전 지식을 활용하여 해부학적 타당성을 명시적으로 강제한다.
• 입력 볼륨 로딩 이후에는 수동 조작이 전혀 필요 없는 완전 자동 파이프라인이다.

실험 결과

연구 질문

• RQ1 공통적인 CMR 오염물질이 존재하는 상황에서 분할과 기반점을 동시에 예측하는 다중 작업 딥 러닝 모델이 3D 이심실 분할 정확도를 향상시킬 수 있는가?
• RQ2 애틀라스 전파에서 유도된 형태 사전 지식이 CMR 볼륨에서의 슬라이스 간 정렬 오차, 큰 슬라이스 두께, 완전한 커버리지 부족을 어느 정도 보정할 수 있는가?
• RQ3 제안된 2.5D FCN 아키텍처는 2D 및 3D 네트워크에 비해 분할 정확도와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ4 기반점 기반 비정적 정렬과 레이블 융합의 통합이 기존 딥 러닝 접근 방식보다 더 매끄럽고 해부학적으로 현실적인 3D 모델을 생성할 수 있는가?
• RQ5 폐동맥 고혈압 환자와 비교할 때 건강한 환자에 비해 이 파이프라인이 병적 심장 분할에서 얼마나 강건한가?

주요 결과

• 제안된 파이프라인은 1831명의 건강한 환자와 649명의 폐동맥 고혈압 환자에서 높은 분할 정확도를 달성했으며, 좌심실과 우심실 모두에서 DICE 스코어가 항상 0.9 초과를 기록했다.
• 입력 볼륨에 상당한 오염물질(예: 슬라이스 간 정렬 오차, 완전한 심실 꼬리부 부족)이 존재하더라도 해부학적으로 매끄러운 3D 모델을 생성했다.
• 저해상도 CMR 볼륨에서 SSLLN-LR+SR 파이프라인은 고해상도 스캔에서 수작업 분할과 비교해도 임상적 측정치(예: LVV, RVV)의 절대 차이가 매우 작게 나타났다(예: LVV 기준 10.42 ml).
• RVV 차이에 대한 p-value는 0.001이었으며, 통계적으로 유의미한 차이이지만 작은 편이므로 수작업 기준과 높은 일치도를 보였다.
• 기본 2D FCN 전용 결과에 비해 형태 보정 단계는 분할의 매끄러움을 크게 향상시키고 스타일링 아티팩트를 감소시켰다.
• 높은 정확도에도 불구하고 형태 보정 단계는 CPU 기반 비정적 정렬과 레이블 융합으로 인해 1인당 15~20분이 소요되어 계산 병목 현상이 드러났다.