[논문 리뷰] A deep neural network to enhance prediction of 1-year mortality using echocardiographic videos of the heart

Alvaro Ulloa, Linyuan Jing외 14명|arXiv (Cornell University)|2018. 11. 26.

Machine Learning in Healthcare참고 문헌 31인용 수 4

한 줄 요약

이 연구는 원시 에코카디오그래픽 영상 데이터를 분석하여 1년 생존율을 예측하는 딥 뉴럴 네트워크를 개발하였으며, AUC 0.839를 기록하여 전문 심장내과의사보다 정확도가 높았다. 전자적 건강기록(EHR) 데이터와 조합할 경우 모델의 AUC는 0.858에 도달하여, 의료 영상과 종단적 데이터를 활용한 딥 러닝의 임상 예측 향상 잠재력을 입증하였다.

ABSTRACT

Predicting future clinical events helps physicians guide appropriate intervention. Machine learning has tremendous promise to assist physicians with predictions based on the discovery of complex patterns from historical data, such as large, longitudinal electronic health records (EHR). This study is a first attempt to demonstrate such capabilities using raw echocardiographic videos of the heart. We show that a large dataset of 723,754 clinically-acquired echocardiographic videos (~45 million images) linked to longitudinal follow-up data in 27,028 patients can be used to train a deep neural network to predict 1-year mortality with good accuracy (area under the curve (AUC) in an independent test set = 0.839). Prediction accuracy was further improved by adding EHR data (AUC = 0.858). Finally, we demonstrate that the trained neural network was more accurate in mortality prediction than two expert cardiologists. These results highlight the potential of neural networks to add new power to clinical predictions.

연구 동기 및 목표

• 원시 에코카디오그래픽 영상 데이터를 사용하여 1년 생존율을 예측하는 딥 러닝 모델을 개발하는 것.
• 모델의 성능을 전문 심장내과의사와 비교하여 생존율 예측 능력을 평가하는 것.
• 에코카디오그래픽 영상 분석에 전자적 건강기록(EHR) 데이터를 통합함으로써 추가적인 예측 성능 향상 여부를 평가하는 것.
• 대규모 임상에서 확보한 에코카디오그래픽 영상 데이터 세트를 기반으로 딥 뉴럴 네트워크를 훈련시키는 것이 가능한지 검증하는 것.
• 딥 러닝이 임상 의사결정 지원을 위해 의료 영상에서 복잡한 예측 패턴을 추출할 잠재력을 탐색하는 것.

제안 방법

• 723,754건의 에코카디오그래픽 영상 데이터를 포함한 대규모 데이터셋을 기반으로 딥 뉴럴 네트워크를 훈련시켰으며, 이는 약 4,500만 장의 이미지에 해당한다.
• 모델은 심장 운동의 시공간 패턴을 포착하기 위해 3D 컨volution 신경망(3D-CNN) 아키텍처를 통해 영상 수준의 특징을 추출한다.
• 모델 훈련은 1년 생존율 결과를 추적하기 위해 종단적 추적 데이터를 보유한 27,028명의 환자 코hort에서 수행된다.
• 성능 평가는 독립된 테스트 세트에서 수신기 작동 특성 곡선 아래 면적(AUC)을 사용하여 평가된다.
• 예측 정확도 향상을 위해 영상 특징과 EHR 데이터를 조기에 융합하는 방식으로 모델이 향상된다.
• 과적합을 방지하기 위해 하이퍼파ram터 튜닝 및 정규화 기법(예: 드롭아웃)을 적용하였으며, Tensorflow v1.12의 드롭아웃 버그 수정 후 성능이 검증되었다.

실험 결과

연구 질문

• RQ1 원시 에코카디오그래픽 영상 데이터를 기반으로 훈련된 딥 뉴럴 네트워크가 대규모 환자 집단에서 1년 생존율을 정확하게 예측할 수 있는가?
• RQ2 전자적 건강기록(EHR) 데이터 통합이 영상 기반 모델의 예측 성능을 추가로 향상시키는가?
• RQ3 딥 러닝 모델의 성능가 전문 심장내과의사의 성능를 비교해 보면 1년 생존율 예측에서 어떤가?
• RQ4 딥 러닝 모델은 인간 전문의가 쉽게 식별하지 못하는 에코카디오그래픽 영상 내에서 미세하고 복잡한 패턴을 탐지할 수 있는가?
• RQ5 실제 임상에서 확보한 대규모 에코카디오그래픽 영상 데이터 세트를 기반으로 훈련된 모델의 확장성과 내구성은 어떠한가?

주요 결과

• 딥 뉴럴 네트워크는 독립된 테스트 세트에서 에코카디오그래픽 영상만을 사용하여 1년 생존율을 예측하는 데 AUC 0.839를 달성하였다.
• 전자적 건강기록(EHR) 데이터와 융합된 경우 모델의 AUC는 0.858로 향상되어 다중모달 데이터 융합으로 인한 뚜렷한 성능 향상이 있음을 시사한다.
• 딥 러닝 모델은 두 명의 전문 심장내과의사보다 1년 생존율 예측에서 뛰어난 정확도를 보이며, 더 높은 예측 정확도를 입증하였다.
• TensorFlow v1.12의 드롭아웃 관련 버그 수정 후 모델 성능이 안정화되어 보고된 결과의 신뢰성이 확인되었다.
• 학습 곡선 분석 결과, 더 많은 훈련 데이터가 제공될수록 모델 성능이 계속 향상됨을 보여, 더 큰 데이터셋으로부터 추가적인 성능 향상 가능성이 있음을 시사한다.
• 본 연구는 딥 러닝이 대규모로 원시 에코카디오그래픽 영상에서 임상적으로 유의미한 예측 패턴을 추출할 수 있음을 입증하였다.