[논문 리뷰] Effectiveness of LSTMs in Predicting Congestive Heart Failure Onset

Sunil Mallya, J. Marc Overhage외 3명|arXiv (Cornell University)|2019. 02. 07.

Artificial Intelligence in Healthcare참고 문헌 28인용 수 11

한 줄 요약

이 연구는 216,394명의 환자로부터의 종단적 전자건강기록(EHR) 데이터를 사용하여, 혈액순환성 심부전(CHF) 발병을 최대 15개월 전에 예측할 수 있는 장단기 기억(LSTM) 순환 신경망 모델을 제안한다. 이 모델은 AUCROC 0.9147을 달성하여 로지스틱 회귀, 랜덤 포레스트, 다층퍼셉트론(MLP), 컨볼루션 신경망(CNN) 기준선들을 능가하며, 희박하고 고차원적인 EHR 데이터 내에서 시간적 패턴을 보다 효과적으로 포착할 수 있음을 보여준다.

ABSTRACT

In this paper we present a Recurrent neural networks (RNN) based architecture that achieves an AUCROC of 0.9147 for predicting the onset of Congestive Heart Failure (CHF) 15 months in advance using a 12-month observation window on a large cohort of 216,394 patients. We believe this to be the largest study in CHF onset prediction with respect to the number of CHF case patients in the cohort and the test set (3,332 CHF patients) on which the AUC metrics are reported. We explore the extent to which LSTM (Long Short Term Memory) based model, a variant of RNNs, can accurately predict the onset of CHF when compared to known linear baselines like Logistic Regression, Random Forests and deep learning based models such as Multi-Layer Perceptron and Convolutional Neural Networks. We utilize demographics, medical diagnosis and procedure data from 21,405 CHF and 194,989 control patients to as our features. We describe our feature embedding strategy for medical diagnosis codes that accommodates the sparse, irregular, longitudinal, and high-dimensional characteristics of EHR data. We empirically show that LSTMs can capture the longitudinal aspects of EHR data better than the proposed baselines. As an attempt to interpret the model, we present a temporal data analysis-based technique on false positives to attribute feature importance. A model capable of predicting the onset of congestive heart failure months in the future with this level of accuracy and precision can support efforts of practitioners to implement risk factor reduction strategies and researchers to begin to systematically evaluate interventions to potentially delay or avert development of the disease with high mortality, morbidity and significant costs.

연구 동기 및 목표

• 종단적 EHR 데이터를 활용하여 CHF 발병을 조기에 예측할 수 있는 딥러닝 모델을 개발하는 것.
• 기존 기계학습 및 딥러닝 모델과 비교하여 LSTMs가 CHF 예측에서 얼마나 효과적인지 평가하는 것.
• 희박성, 비정규성, 고차원성 문제를 해결하기 위해 새로운 특징 임bedding 전략을 통해 EHR 데이터의 과제를 해결하는 것.
• 모델 예측을 해석하기 위해 오진 예측 사례를 분석하고 시간에 따라 특징 중요도를 기여도를 분석하는 것.

제안 방법

• 모델은 환자의 인구통계학적 정보, 진단 코드, 절차 코드를 포함한 12개월 간의 EHR 데이터를 입력으로 사용한다.
• 의료 진단 코드는 높은 희박성과 고차원성을 다루기 위해 학습 가능한 임베딩 레이어를 사용하여 임베딩된다.
• 양방향 LSTM 아키텍처는 종단적 환자 기록 내에서 장기적인 시간적 의존성을 포착한다.
• 모델은 15개월 전에 CHF 발병을 예측하도록 엔드 투 엔드로 훈련되며, 이진 교차 엔트로피 손실을 사용한다.
• 모델 결정을 해석하기 위해 오진 예측 사례에서 시간에 따른 특징 제거 분석을 수행하여 중요도를 분석한다.
• 훈련 및 평가를 위해 216,394명의 환자(3,332명의 CHF 사례 포함) 대규모 코hort를 사용하여 정량 지표의 신뢰성을 확보한다.

실험 결과

연구 질문

• RQ1 LSTM은 기존 모델보다 종단적 EHR 패턴을 효과적으로 모델링하여 CHF 발병을 더 정확하게 예측할 수 있는가?
• RQ2 제안된 임베딩 전략은 EHR 데이터의 희박성과 비정규성 문제를 어떻게 다루는가?
• RQ3 로지스틱 회귀, 랜덤 포레스트, MLP, CNN과 비교할 때 LSTM의 CHF 예측 성능은 어떠한가?
• RQ4 오진 예측 사례의 시간적 분석을 통해 임상적으로 의미 있는 특징 중요도를 얼마나 밝혀낼 수 있는가?
• RQ5 높은 인구통계학적 및 임상적 다양성을 지닌 대규모 실생활 환자 코hort에서 모델의 일반화 능력은 어느 정도인가?

주요 결과

• LSTM 모델은 CHF 발병을 15개월 전에 예측할 때 AUCROC 0.9147을 달성하여 모든 기준선 모델을 뛰어넘었다.
• 피드포워드 네트워크 및 컨볼루션 모델 대비 EHR 데이터 내 장기적인 시간적 추세를 보다 효과적으로 포착하는 데 뛰어난 성능을 보였다.
• 제안된 임베딩 전략은 종단적 EHR 데이터 내 진단 코드의 고차원성과 희박성 문제를 효과적으로 다루었다.
• 오진 예측 사례의 시간적 분석을 통해 일부 진단 코드와 시간 창이 예측 오류에 더 큰 기여를 한다는 점을 규명하여 모델의 해석 가능성을 높였다.
• 이 연구는 현재까지 가장 큰 CHF 예측 코hort를 보고하였으며, 테스트 세트에서 확인된 CHF 사례가 3,332건으로 AUCROC 지표의 신뢰성을 높였다.
• 결과적으로 LSTMs를 활용한 조기 위험 분류가 CHF 발병을 지연하거나 방지하기 위한 임상적 간병을 지원할 수 있음을 시사한다.