[논문 리뷰] SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks

Patrick Ferdinand Christ, Florian Ettlinger외 8명|arXiv (Cornell University)|2017. 02. 20.

Radiomics and Machine Learning in Medical Imaging참고 문헌 8인용 수 10

한 줄 요약

이 논문은 확산 가중 MRI(DW-MRI)에서 간세포성 간암(HCC) 종양을 분할하는 데 먼저 계단식 완전 컨volutional 네트워크(CFCN)를 사용하고, 그 다음 3D 컨volutional 신경망(SurvivalNet)을 사용해 환자의 생존율(높은 위험도 vs. 낮은 위험도)을 예측하는 계단식 딥러닝 프레임워크인 SurvivalNet을 제안한다. 이 방법은 수동 분할에서 68%의 정확도, 자동 분할에서 65%의 정확도를 기록하며, Haralick 및 히스토그램 특징과 같은 수작업 특징들을 능가한다.

ABSTRACT

Automatic non-invasive assessment of hepatocellular carcinoma (HCC) malignancy has the potential to substantially enhance tumor treatment strategies for HCC patients. In this work we present a novel framework to automatically characterize the malignancy of HCC lesions from DWI images. We predict HCC malignancy in two steps: As a first step we automatically segment HCC tumor lesions using cascaded fully convolutional neural networks (CFCN). A 3D neural network (SurvivalNet) then predicts the HCC lesions' malignancy from the HCC tumor segmentation. We formulate this task as a classification problem with classes being "low risk" and "high risk" represented by longer or shorter survival times than the median survival. We evaluated our method on DWI of 31 HCC patients. Our proposed framework achieves an end-to-end accuracy of 65% with a Dice score for the automatic lesion segmentation of 69% and an accuracy of 68% for tumor malignancy classification based on expert annotations. We compared the SurvivalNet to classical handcrafted features such as Histogram and Haralick and show experimentally that SurvivalNet outperforms the handcrafted features in HCC malignancy classification. End-to-end assessment of tumor malignancy based on our proposed fully automatic framework corresponds to assessment based on expert annotations with high significance (p>0.95).

연구 동기 및 목표

• 수동 종양 분할에 의존하지 않고 확산 가중 MRI(DW-MRI)에서 HCC 환자의 생존율을 예측하기 위한 완전 자동 프레임워크 개발.
• 기존의 수작업 특징(예: Haralick, 히스토그램)을 넘어서 딥러닝을 활용해 더 정확한 악성도 분류를 위한 개선.
• 계단식 완전 컨volutional 네트워크(CFCN)를 사용한 자동 종양 분할이 전문가가 분석한 분할과 동일한 생존 예측 성능을 낼 수 있음을 검증.
• 3D CNN 기반 접근 방식(SurvivalNet)이 DW-MRI 데이터의 전체 종양 부위에서 예후 생물학적 지표를 효과적으로 학습할 수 있음을 입증.
• 전문가 분석 결과와 높은 일치도(>0.95)를 보이는 임상적으로 유의미한 종단형 파이프라인을 확립.

제안 방법

• 3D DW-MRI 볼륨에서 HCC 종양 병변을 자동으로 분할하기 위해 계단식 완전 컨volutional 네트워크(CFCN)를 훈련하여 딱지 계수(Dice score) 69.7%를 달성.
• 분할 결과를 입력으로 사용해 3D 컨volutional 신경망(SurvivalNet)을 통해 환자를 '높은 위험도'(짧은 생존) 또는 '낮은 위험도'(긴 생존)로 분류, 중앙값 생존 시간 기반.
• SurvivalNet 아키텍처는 3x3x3 커널, 50개 필터를 가진 3D 컨볼루션 레이어 2개 스택, 2x2x2 3D 최대 풀링, 각각 500개의 뉴런을 가진 2개의 완전 연결 레이어로 구성.
• 데이터 증강 없이 Adadelta 옵timizer를 사용해 학습을 처음부터 수행하며, 학습률 0.5, ρ = 0.95, ε = 1e-8 설정.
• 성능 평가에는 정확도, 정밀도, 민감도, F1 점수, 분할에 대한 딱지 계수를 사용.
• 수동 분할 대비 자동 분할을 사용한 SurvivalNet의 후행 클래스 확률을 비교하기 위해 짝지어진 Wilcoxon 순위합 검정을 실시(>0.953).

실험 결과

연구 질문

• RQ1 DW-MRI에서 자동 종양 분할만을 사용할 때, 계단식 딥러닝 프레임워크가 전문가가 분석한 분할과 동일한 생존 예측 정확도를 달성할 수 있는가?
• RQ2 3D 컨볼루션 신경망(SurvivalNet)이 기존의 수작업 특징(예: Haralick, 히스토그램)보다 HCC 환자를 높은 위험도 및 낮은 위험도 생존 그룹으로 분류하는 데 더 우수한 성능을 보이는가?
• RQ3 CFCN를 사용한 자동 종양 분할이 3D CNN의 최종 생존 예측 성능에 어느 정도의 영향을 미치는가?
• RQ4 자동 분할된 종양을 사용한 SurvivalNet의 예측 결과가 수동 분할된 종양을 사용한 결과와 통계적으로 구별되지 않는가?
• RQ5 DW-MRI 데이터에서 단독으로 종단형 딥러닝을 수행할 경우, 전문가 평가와 비교해 신뢰할 수 있는 높은 유의성으로 HCC 환자의 생존율을 예측할 수 있는가?

주요 결과

• 자동으로 생성된 종양 분할을 사용할 때 SurvivalNet은 종단형 정확도 65%를 기록했으며, 병변 분할에 대해 딱지 계수 69.7%를 확보했다.
• 수동 분할을 입력으로 사용했을 때 SurvivalNet은 높은 위험도 대비 낮은 위험도 환자 분류에서 68% 정확도, 69% 정밀도, 68% 민감도를 기록했다.
• 3D CNN 기반의 SurvivalNet은 기존의 수작업 특징보다 뛰어난 성능을 보였으며, Haralick 특징과 히스토그램 특징은 각각 61%와 60%의 F1 점수를 기록했다.
• 짝지어진 Wilcoxon 순위합 검정을 통해 SurvivalNet의 자동 분할 기반 예측이 수동 분할 기반 예측과 통계적으로 유의미하게 다를 바 없음을 확인(p > 0.953).
• Kaplan-Meier 분석에서 SurvivalNet은 환자를 높은 위험도 및 낮은 위험도 그룹으로 성공적으로 분류했지만, 수작업 특징은 이를 수행하지 못했다.
• 이 방법은 종양 탐지에 대해 높은 민감도(91.1%)를 보였지만, 정밀도는 낮아(70.0%) 간 영역에서 일부 잠재적 오진이 있음을 시사했다.