[논문 리뷰] 3D Convolutional Neural Networks for Tumor Segmentation using Long-range 2D Context

Pawel Mlynarski, Hervé Delingette외 2명|arXiv (Cornell University)|2018. 07. 23.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 다중 시퀀스 MRI에서 뇌 종양 세분화를 향상시키기 위해 사전 추출된 특징을 통한 장거리 2D 컨텍스트를 통합하는 3D CNN 프레임워크를 제안한다. 모odal별 2D 특징 추출과 3D 컨텍스트 학습을 조합하고 앙상블 투표를 사용함으로써, 후처리 없이 BRATS 2017 벤치마크에서 전 종양에 대해 0.918, 핵심 종양에 대해 0.883, 강화 핵심 종양에 대해 0.854의 높은 Dice 점수를 달성한다.

ABSTRACT

We present an efficient deep learning approach for the challenging task of tumor segmentation in multisequence MR images. In recent years, Convolutional Neural Networks (CNN) have achieved state-of-the-art performances in a large variety of recognition tasks in medical imaging. Because of the considerable computational cost of CNNs, large volumes such as MRI are typically processed by subvolumes, for instance slices (axial, coronal, sagittal) or small 3D patches. In this paper we introduce a CNN-based model which efficiently combines the advantages of the short-range 3D context and the long-range 2D context. To overcome the limitations of specific choices of neural network architectures, we also propose to merge outputs of several cascaded 2D-3D models by a voxelwise voting strategy. Furthermore, we propose a network architecture in which the different MR sequences are processed by separate subnetworks in order to be more robust to the problem of missing MR sequences. Finally, a simple and efficient algorithm for training large CNN models is introduced. We evaluate our method on the public benchmark of the BRATS 2017 challenge on the task of multiclass segmentation of malignant brain tumors. Our method achieves good performances and produces accurate segmentations with median Dice scores of 0.918 (whole tumor), 0.883 (tumor core) and 0.854 (enhancing core). Our approach can be naturally applied to various tasks involving segmentation of lesions or organs.

연구 동기 및 목표

• 대규모 3D MRI 볼륨에서 높은 계산 효율성을 유지하면서 정확한 다중 클래스 뇌 종양 세분화를 해결하기 위해.
• 기본 3D CNN의 수신 영역 제한을 극복하기 위해 장거리 2D 문맥 정보를 통합함으로써.
• 각 영상 시퀀스에 대해 모달리티별 서브넷워크를 사용하여 결측된 MR 시퀀스에 대한 강건성을 향상시키기 위해.
• 보내지 않은 볼륨 수준의 투표를 통해 앙상블된 연속 2D-3D 모델을 통해 세분화 신뢰성을 향상시키기 위해.
• 후처리가 필요 없도록 종단 간 훈련 및 추론 파이프라인을 설계함으로써.

제안 방법

• 각 MR 시퀀스(T1, T1c, T2, FLAIR)에서 고수준 특징을 추출하기 위해 별도의 2D CNN을 사용하며, 이를 3D CNN의 추가 입력 채널로 결합한다.
• 3D CNN은 융합된 입력을 처리하여 단기적 3D 공간 컨텍스트와 사전 계산된 특징에서 온 장거리 2D 컨텍스트를 모두 활용하여 종단 간 세분화를 수행한다.
• 3D MRI 데이터에서 대규모 CNN 모델을 효율적으로 훈련시키기 위한 새로운 훈련 전략을 도입하여 메모리 및 계산 오버헤드를 최소화한다.
• 모달리티별 서브넷워크는 특정 시퀀스가 포함되거나 포함되지 않은 데이터에서 별도로 훈련되어 추론 시 결측 데이터에 대한 강건성을 확보한다.
• 다양한 2D-3D 모델을 볼륨 수준의 투표를 통해 앙상블하며, 각 모델의 성능과 레이블 의미론에 따라 가중치를 부여한다.
• CRF나 형태학적 필터링과 같은 후처리 단계를 회피하고, 모델의 내재된 인덕티브 바이어스와 특징 융합에 의존한다.

실험 결과

연구 질문

• RQ1 장거리 2D 컨텍스트를 사용하여 3D CNN의 종양 세분화 성능을 향상시킬 수 있는가? 이는 계산 비용을 크게 증가시키지 않는다.
• RQ2 훈련 데이터에 결측된 MR 시퀀스가 포함되어 있을 경우, 모달리티별 서브넷워크가 어떻게 강건성을 향상시킬 수 있는가?
• RQ3 다양한 2D-3D 모델의 앙상블 투표가 세분화 정확도와 종양 하위 영역에 대한 민감도를 얼마나 향상시키는가?
• RQ4 하이브리드 2D-3D 아키텍처가 순수 3D CNN보다 수신 영역과 세분화 정확도 측면에서 우월할 수 있는가? 동시에 계산 효율성은 유지되는가?
• RQ5 후처리 기법(예: CRF 또는 형태학적 연산)에 의존하지 않고도 아키텍처 설계와 특징 융합만으로 최고 수준의 성능을 달성할 수 있는가?

주요 결과

• 이 방법은 BRATS 2017 벤치마크에서 전 종양 세분화에 대해 중앙값 Dice 점수 0.918을 달성하여 높은 세분화 정확도를 보였다.
• 핵심 종양 세분화는 중앙값 Dice 점수 0.883을 기록하여 가장 임상적으로 중요한 하위 영역에서 강력한 성능을 보였다.
• 작고 중요한 하위 영역인 강화 핵심 종양은 중앙값 Dice 점수 0.854를 기록하여 약물 강화를 유도하는 미세한 병변을 탐지하는 능력을 입증했다.
• 모달리티별 서브넷워크의 사용은 훈련 데이터에 결측된 MR 시퀀스가 포함되어 있을 경우 성능 향상을 이끌었으며, 데이터 변동성에 대한 강건성을 향상시켰다.
• 앙상블 투표 전략은 후처리 없이도 거짓 음성 수를 효과적으로 줄이고 종양 하위 영역에 대한 민감도를 향상시켰다.
• CRF나 형태학적 연산과 같은 후처리 기법에 의존하지 않고도 최고 수준의 성능을 달성했다.