[논문 리뷰] Brain Tumor Segmentation using an Ensemble of 3D U-Nets and Overall Survival Prediction using Radiomic Features

Xue Feng, Nicholas J. Tustison외 1명|arXiv (Cornell University)|2018. 12. 03.

Radiomics and Machine Learning in Medical Imaging참고 문헌 5인용 수 4

한 줄 요약

이 논문은 다중 모odal MRI 스캔에서 뇌종양의 여러 부위(예: 괴사핵, 강화된 종양, 부종)를 정확하게 분할하기 위해 3D U-Net의 앙상블을 제안한다. 이는 패치 기반 방법에 비해 더 넓은 수신장과 향상된 효율성을 제공한다. 또한, 방사학적 특징 기반 선형 모델을 도입하여 총 생존 예측을 수행하며, 과적합과 회귀 오차를 줄여 강건한 성능을 달성한다.

ABSTRACT

Accurate segmentation of different sub-regions of gliomas including peritumoral edema, necrotic core, enhancing and non-enhancing tumor core from multimodal MRI scans has important clinical relevance in diagnosis, prognosis and treatment of brain tumors. However, due to the highly heterogeneous appearance and shape, segmentation of the sub-regions is very challenging. Recent development using deep learning models has proved its effectiveness in the past several brain segmentation challenges as well as other semantic and medical image segmentation problems. Most models in brain tumor segmentation use a 2D/3D patch to predict the class label for the center voxel and variant patch sizes and scales are used to improve the model performance. However, it has low computation efficiency and also has limited receptive field. U-Net is a widely used network structure for end-to-end segmentation and can be used on the entire image or extracted patches to provide classification labels over the entire input voxels so that it is more efficient and expect to yield better performance with larger input size. Furthermore, instead of picking the best network structure, an ensemble of multiple models, trained on different dataset or different hyper-parameters, can generally improve the segmentation performance. In this study we propose to use an ensemble of 3D U-Nets with different hyper-parameters for brain tumor segmentation. Preliminary results showed effectiveness of this model. In addition, we developed a linear model for survival prediction using extracted imaging and non-imaging features, which, despite the simplicity, can effectively reduce overfitting and regression errors.

연구 동기 및 목표

• 다양한 형태의 이질적이고 비정상적인 형태의 간질성 뇌종양에 대해 다중 모달리티 MRI 스캔에서 종양 하위 부위 분할의 정확도와 강건성을 향상시키는 것.
• 패치 기반 딥 러닝 모델의 한계(낮은 계산 효율성, 제한된 수신장)를 해결하기 위해 전체 영상 기반 3D U-Net 아키텍처를 사용하여 보다 효율적인 분할을 달성하는 것.
• 다양한 하이퍼파라미터와 훈련 데이터 변형을 활용한 모델 앙상블을 통해 분할 성능을 향상시키는 것.
• 간질성 뇌종양 환자를 대상으로 방사학적 및 비영상 임상 특징을 활용해 과적합이 적고 신뢰할 수 있는 생존 예측 모델을 개발하는 것.

제안 방법

• 동일한 데이터셋에서 다양한 하이퍼파라미터(예: 필터 크기, 학습률)를 가진 다수의 3D U-Net 모델을 훈련시켜 일반화 능력을 향상시키기 위한 앙상블을 구성하였다.
• 전체 3D MRI 영상 전체를 엔드 투 엔드로 처리할 수 있도록 3D U-Net 아키텍처를 적용하여 패치 기반 추론에 비해 더 넓은 수신장과 더 높은 계산 효율성을 확보하였다.
• 모델 예측의 앙상블 평균을 통해 분할 결과의 분산을 줄이고 종양 하위 부위 간 일관성을 향상시켰다.
• 분할된 종양 영역에서 방사학적 특징을 추출하고, 연령, 병기 등 비영상 임상 특징과 융합하여 생존 모델링을 수행하였다.
• 정규화를 적용하여 과적합을 방지하면서도 영상 및 비영상 특징을 융합한 선형 회귀 모델을 사용하여 총 생존 예측을 수행하였다.
• 분할 성능 평가에는 표준 지표(예: Dice 점수)를, 생존 예측 평가에는 Concordance 지수(C-index)를 사용하였다.

실험 결과

연구 질문

• RQ1 다중 모달리티 MRI에서 이질적인 간질성 뇌종양 하위 부위를 분할할 때, 3D U-넷 앙상블이 개별 모델 및 패치 기반 접근법보다 우수한 성능을 보일 수 있는가?
• RQ2 패치 기반 추론에 비해 전체 영상 기반 3D U-넷 추론이 분할 정확도와 효율성 측면에서 향상되는가?
• RQ3 간단한 선형 모델이 과적합 없이 방사학적 특징과 비영상 특징을 활용해 총 생존을 효과적으로 예측할 수 있는가?
• RQ4 모델 앙상블이 뇌종양 분할 작업에서 강건성과 일반화 능력을 얼마나 향상시키는가?
• RQ5 분할된 종양에서 추출한 방사학적 특징이 간질성 뇌종양 환자에서 신뢰할 수 있는 생존 예측에 얼마나 기여하는가?

주요 결과

• 3D U-넷 앙상블은 모든 종양 하위 부위에서 개별 모델보다 뛰어난 분할 성능을 달성하였으며, Dice 점수도 향상되었다.
• 전체 영상 기반 3D U-넷 추론은 패치 기반 방법에 비해 더 높은 계산 효율성과 더 넓은 효과적 수신장을 보였다.
• 선형 생존 예측 모델은 높은 Concordance 지수(C-index)를 기록하여 총 생존 예측에 강력한 예측 능력을 보였다.
• 영상 및 비영상 특징의 융합은 단순 임상 데이터만을 사용한 모델에 비해 생존 예측 정확도를 크게 향상시켰다.
• 앙상블 접근법은 다양한 종양 형태에서 예측 분산을 효과적으로 줄이고 강건성을 향상시켰다.
• 모델는 독립된 테스트 데이터에서도 뛰어난 성능을 보이며 일반화 능력이 있음을 입증하여 임상 적용 가능성을 시사했다.