[논문 리뷰] Hybrid deep neural networks for all-cause Mortality Prediction from LDCT Images

Pingkun Yan, Hengtao Guo외 3명|arXiv (Cornell University)|2018. 10. 19.

COVID-19 diagnosis using AI참고 문헌 8인용 수 5

한 줄 요약

이 논문은 저선량 CT(LDCT) 영상 패치와 방사선의사 평가 기준의 관상동맥 석화(CAC) 위험 점수를 결합하여 폐암 환자에서 전원 사망을 예측하는 하이브리드 딥 뉴럴 네트워크인 HyRiskNet을 제안한다. 학습된 딥 특징과 임상적으로 유의미한 영상 마커를 통합함으로써 HyRiskNet은 AUC 0.75를 달성하여 단지 영상 또는 전통적인 점수 기반 방법을 사용하는 모델보다 유의하게 뛰어난 성능을 보였다.

ABSTRACT

Known for its high morbidity and mortality rates, lung cancer poses a significant threat to human health and well-being. However, the same population is also at high risk for other deadly diseases, such as cardiovascular disease. Since Low-Dose CT (LDCT) has been shown to significantly improve the lung cancer diagnosis accuracy, it will be very useful for clinical practice to predict the all-cause mortality for lung cancer patients to take corresponding actions. In this paper, we propose a deep learning based method, which takes both chest LDCT image patches and coronary artery calcification risk scores as input, for direct prediction of mortality risk of lung cancer subjects. The proposed method is called Hybrid Risk Network (HyRiskNet) for mortality risk prediction, which is an end-to-end framework utilizing hybrid imaging features, instead of completely relying on automatic feature extraction. Our work demonstrates the feasibility of using deep learning techniques for all-cause lung cancer mortality prediction from chest LDCT images. The experimental results show that the proposed HyRiskNet can achieve superior performance compared with the neural networks with only image input and with other traditional semi-automatic scoring methods. The study also indicates that radiologist defined features can well complement convolutional neural networks for more comprehensive feature extraction.

연구 동기 및 목표

• LDCT 스캔을 사용하여 폐암 환자에서 전원 사망을 예측하는 딥 러닝 프레임워크를 개발하는 것.
• 학습된 컨volutional 신경망(CNN)에서 추출한 특징과 방사선의사 정의의 CAC 위험 점수를 통합하여 예측 성능을 향상시키는 것.
• 하이브리드 모델링이 영상 전용 또는 점수 전용 접근 방식보다 사망 위험 평가에서 우수한 성능을 보이는지 평가하는 것.
• 네트워크 깊이와 입력 모odal이 예측 성능에 미치는 영향을 조사하는 것.

제안 방법

• 제안된 HyRiskNet은 LDCT 영상 패치에서 고차원 영상 특징을 추출하기 위해 딥 리세드 네ural 네트워크(ResNet) 아키텍처를 사용한다.
• 방사선의사 평가 기준의 CAC 점수는 CNN에서 추출한 표현을 보완하기 위해 추가 입력 특징으로 통합된다.
• 모델은 영상 패치와 CAC 위험 점수의 하이브리드 입력을 사용하여 종료에서 종료까지 훈련되어 사망 위험을 직접 예측한다.
• 성능 최적화를 위해 다양한 ResNet 변형(18, 34, 50, 101, 152층)이 평가되었다.
• 모델의 강건성을 평가하기 위해 10중 교차검증이 사용되었으며, 주요 평가 지표로 AUC가 사용되었다.
• 기존의 Agatston 점수, 볼륨 점수, 그리고 방사선의사의 시각적 검사 방법과의 성능 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 CNN에서 추출한 특징과 방사선의사 정의의 CAC 점수를 통합하는 하이브리드 딥 러닝 모델이 폐암 환자에서 전원 사망 예측을 향상시킬 수 있는가?
• RQ2 CAC 점수의 포함 여부가 CNN 기반 사망 예측 모델의 성능에 어떤 영향을 미치는가?
• RQ3 하이브리드 모델의 성능은 다양한 네트워크 깊이에 따라 어떻게 변하는가?
• RQ4 이 모델의 성능는 기존의 반자동 및 수동 점수 기반 방법과 비교해 볼 때 어떻게 되는가?

주요 결과

• HyRiskNet-34는 최고의 AUC 0.75를 기록하여 RiskNet-34(AUC 0.70)와 방사선의사 시각적 검사(AUC 0.64)를 뛰어넘었다.
• 모든 ResNet 깊이에서 CAC 점수의 추가로 예측 성능이 향상되었으며, 동일한 깊이에서 HyRiskNet이 RiskNet을 항상 앞섰다.
• 34층의 ResNet 아키텍처가 테스트된 모든 깊이 중에서 가장 뛰어난 성능을 보였으며, 이는 데이터셋 크기에 비해 표현 능력과 일반화 능력 사이의 균형을 잘 맞춘 결과로 해석된다.
• 방사선의사 평가 기준의 CAC 점수가 Agatston 점수보다 더 높은 성능(AUC 0.75 대 0.71)을 보였으며, 이는 인간의 해석이 자동화된 정량화를 넘어서 임상적으로 의미 있는 특징을 포착하고 있음을 시사한다.
• 하이브리드 모델은 방사선의사 시각적 검사 대비 17.2% 향상된 예측 성능과 이미지 전용 CNN(RiskNet) 대비 7.1% 향상된 성능를 보이며 전문 지식과 딥 러닝의 융합이 가치가 있음을 입증했다.
• 기존의 반자동 점수 기반 방법(Agatston, 볼륨, 볼륨의 제곱근 점수)은 AUC 0.61~0.62 수준에 머물러 있어 예측 능력이 제한적임을 시사했다.