[논문 리뷰] Survival prediction using ensemble tumor segmentation and transfer learning

Mariano Cabezas, Sergi Valverde외 7명|arXiv (Cornell University)|2018. 10. 04.

Radiomics and Machine Learning in Medical Imaging참고 문헌 6인용 수 10

한 줄 요약

이 논문은 전임상 MRI 영상에서 간질성 뇌종양 환자의 생존을 예측하기 위해 앙상블 종양 세분화와 전이 학습을 조합한 계단식 딥러닝 프레임워크를 제안한다. 먼저 3D U-Net을 사용해 종양 영역을 식별하고, 그 다음로 네 가지 다른 CNN 아키텍처의 앙상블을 통해 하위 영역 세분화(강화 종양, 괴사 핵, 비강화 종양)를 정밀화한 후, 임상 데이터와 미세조정된 VGG-16에서 추출한 특징을 융합하여 생존 예측을 수행한다. 이 방법은 높은 세분화 DSC 점수(전체 종양 평균 0.78)를 달성했지만, 생존 예측 정확도는 낮게 유지되어(검증 세트에서 0.321), 특징 공학 및 모델 일반화 향상 여지가 있음을 시사한다.

ABSTRACT

Segmenting tumors and their subregions is a challenging task as demonstrated by the annual BraTS challenge. Moreover, predicting the survival of the patient using mainly imaging features, while being a desirable outcome to evaluate the treatment of the patient, it is also a difficult task. In this paper, we present a cascaded pipeline to segment the tumor and its subregions and then we use these results and other clinical features together with image features coming from a pretrained VGG-16 network to predict the survival of the patient. Preliminary results with the training and validation dataset show a promising start in terms of segmentation, while the prediction values could be improved with further testing on the feature extraction part of the network.

연구 동기 및 목표

• 다양한 모odal MRI와 임상 데이터를 활용해 간질성 뇌종양 환자의 생존 예측을 향상시키기 위해.
• 다양한 모달리티 MRI 스캔에서 이질적인 간질성 뇌종양 하위 영역(강화 종양, 괴사 핵, 비강화 종양)을 세분화하는 과제를 해결하기 위해.
• 3D U-Net과 앙상블 CNN을 조합한 계단식 딥러닝 파이프라인을 개발해 종양 하위 영역 세분화를 향상시키기 위해.
• 사전 훈련된 VGG-16에서 유도된 방사형 특징을 임상 데이터와 융합해 생존 예측 성능을 향상시키기 위해.
• 제안된 방법의 성능을 BraTS 2018 훈련 및 검증 데이터 세트에서 평가하기 위해.

제안 방법

• 초기 종양 영역 관심 영역(ROI) 세분화를 위해 잔차 연결과 32 필터를 각 레이어에 적용한 3D U-Net을 사용하였으며, 21×21×21 패치에서 훈련하고 전체 이미지에서 테스트하였다.
• 종양 하위 영역 세분화를 정밀화하기 위해 네 가지 다른 CNN 아키텍처(UCNN, UNET, CNN, FCNN)의 앙상블을 13×13×13 패치에서 훈련하였으며, 공통 입력과 최종 융합 밀집층을 사용하였다.
• 앙상블 모델은 조기 정지와 배치 정규화를 사용하였으며, 개별 네트워크를 먼저 훈련한 후 기저 네트워크를 동결한 상태에서 융합층만 미세조정하였다.
• 사전 훈련된 VGG-16 특징은 FLAIR, T1, T1 강화 시퀀스에서 환자당 20개의 종양 슬라이스에서 추출하여 영상 수준의 표현을 확보하였다.
• 임상 특징(예: 연령, 성별)과 하위 영역 부피를 정규화하고 VGG-16 특징과 결합하여 생존 예측을 위한 최종 특징 벡터를 구성하였다.
• 완전 연결 네트워크를 최종 특징 벡터에서 훈련하여 환자의 전체 생존을 예측하였으며, 정확도, 슔피어만 상관계수, 표준 오차를 사용해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 3D U-Net과 앙상블 CNN을 조합한 계단식 딥러닝 파이프라인은 다양한 모달리티 MRI에서 이질적인 간질성 뇌종양 하위 영역의 세분화를 향상시킬 수 있는가?
• RQ2 사전 훈련된 VGG-16 네트워크를 사용한 전이 학습은 MRI 스캔에서 생존 예측을 지원하기 위해 관련 영상 특징을 효과적으로 추출할 수 있는가?
• RQ3 임상 및 방사형 특징을 융합한 특징들은 부피만 고려하거나 단일 모델 접근법에 비해 생존 예측 정확도를 얼마나 향상시키는가?
• RQ4 전이 학습과 앙상블 세분화를 사용하고도도 왜 생존 예측 성능이 낮게 유지되는가?
• RQ5 자료 부족과 특징 정규화는 의료 영상에서 생존 예측 모델의 일반화에 어떤 영향을 미치는가?

주요 결과

• 앙상블 세분화 방법은 훈련 데이터 세트에서 전체 종양(WT)의 평균 DSC가 0.78, 종양 핵심(TC)이 0.72, 강화 종양(ET)이 0.68를 기록하였다.
• 검증 데이터 세트에서는 전체 종양(WT)의 평균 DSC가 0.75, 종양 핵심(TC)이 0.69, 강화 종양(ET)이 0.65였으며, 강화 종양 영역에서 가장 높은 변동성과 낮은 성능를 보였다.
• 생존 예측 모델은 훈련 세트에서 정확도 0.373, 검증 세트에서 0.321을 기록하였으며, 모두 0.5 이하로 낮은 예측 성능를 나타내었다.
• 예측된 생존과 실제 생존 간 슈피어만 상관계수는 훈련 세트에서 -0.05, 검증 세트에서 -0.011였으며, 예측에 의미 있는 단조적 관계가 없음을 시사하였다.
• 예측의 표준 오차는 높았으며(훈련 세트에서 181,387.051, 검증 세트에서 199,081.864), 큰 예측 불확실성을 나타내었다.
• Brats18_CBICA_AOH_1과 같은 이방성 사례에서는 ET와 TC의 DSC 값이 0으로 나타나 강화 종양 영역 세분화의 지속적인 과제를 확인할 수 있었다.