[논문 리뷰] Early detection of sepsis utilizing deep learning on electronic health record event sequences

Simon Meyer Lauritsen, Mads Ellersgaard Kalør외 5명|arXiv (Cornell University)|2019. 06. 07.

Sepsis Diagnosis and Treatment참고 문헌 20인용 수 19

한 줄 요약

이 연구는 다양한 병원 부서에서의 원시 전자건강기록(EHR) 이벤트 시계열에서 조기 석세미스를 탐지하기 위해 컨volutional 신경망(CNN)과 장기 단기 기억(LSTM) 네트워크를 조합한 딥러닝 모델을 제안한다. 모델은 석세미스 발병 3시간 전에 AUROC 점수 0.856을 기록하며, 아직 항생제 투여나 혈액 배양을 받지 않은 환자를 식별하여 조기 임상 간섭을 가능하게 한다.

ABSTRACT

The timeliness of detection of a sepsis event in progress is a crucial factor in the outcome for the patient. Machine learning models built from data in electronic health records can be used as an effective tool for improving this timeliness, but so far the potential for clinical implementations has been largely limited to studies in intensive care units. This study will employ a richer data set that will expand the applicability of these models beyond intensive care units. Furthermore, we will circumvent several important limitations that have been found in the literature: 1) Models are evaluated shortly before sepsis onset without considering interventions already initiated. 2) Machine learning models are built on a restricted set of clinical parameters, which are not necessarily measured in all departments. 3) Model performance is limited by current knowledge of sepsis, as feature interactions and time dependencies are hardcoded into the model. In this study, we present a model to overcome these shortcomings using a deep learning approach on a diverse multicenter data set. We used retrospective data from multiple Danish hospitals over a seven-year period. Our sepsis detection system is constructed as a combination of a convolutional neural network and a long short-term memory network. We suggest a retrospective assessment of interventions by looking at intravenous antibiotics and blood cultures preceding the prediction time. Results show performance ranging from AUROC 0.856 (3 hours before sepsis onset) to AUROC 0.756 (24 hours before sepsis onset). We present a deep learning system for early detection of sepsis that is able to learn characteristics of the key factors and interactions from the raw event sequence data itself, without relying on a labor-intensive feature extraction work.

연구 동기 및 목표

• 이질적인 EHR 데이터를 활용해 중환자실 외부에서도 확장 가능한 딥러닝 시스템을 개발하여 조기 석세미스 탐지를 목표로 한다.
• 이전 모델의 한계를 극복하기 위해 특정 임상 매개변수에 의존하거나 누락 데이터를 잘 처리하지 못하는 점을 개선한다.
• 임상 간섭을 고려한 실제적인 후행적 시계열 기반 평가를 통해 모델 성능을 평가한다.
• 항생제 투여나 혈액 배양과 같은 핵심 간섭 이전에 석세미스 탐지가 이루어지는지 확인하여 임상적 유용성을 평가한다.
• 원시 EHR 이벤트 시계열에서 직접 표현을 학습함으로써 수동적 특징 공학에 의존도를 줄인다.

제안 방법

• 모델는 1D 컨volutional 신경망(CNN)을 사용해 局소 패턴을 추출하고, 장기 단기 기억(LSTM) 네트워크를 활용해 순차적인 EHR 이벤트의 시간적 의존성을 모델링하는 하이브리드 아키텍처를 사용한다.
• 2010~2017년 덴마크 4개 지자체의 EHR 데이터를 사용하였으며, 생화학, 약물, 미생물학, 영상 및 행정 데이터를 포함하며, 시간 순서로 정렬된 이벤트 시계열 형태로 표현되었다.
• 클래스 불균형을 해결하기 위해 클래스 가중치가 포함된 손실 함수를 사용하였으며, 양성 샘플은 10배로 오버샘플링하고, 음성 샘플은 1:5 비율을 유지하도록 샘플링하였다.
• 새로운 후행적 평가 방법을 도입하여, 예측 시점 이전에 IV 항생제 투여나 혈액 배양 등의 간섭이 이미 시작되었는지 평가하였다.
• 특징 공학을 최소화하였으며, 사전 정의된 임상적 특징 없이 원시 EHR 이벤트 시계열에서 직접 관련 패턴과 상호작용을 학습하였다.
• AUROC를 사용하여 모델 성능을 평가하였으며, 석세미스 발병 24시간에서 3시간 전까지의 예측 윈도우에 집중하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 원시 EHR 이벤트 시계열만을 사용하여 기존 모델보다 더 이른 시점에 더 신뢰성 있게 석세미스를 탐지할 수 있는가?
• RQ2 혈압 측정 빈도가 낮은 비중환자실 부서에 적용했을 때 모델의 성능이 유지되는가?
• RQ3 모델의 예측이 항생제 투여나 혈액 배양과 같은 핵심 임상 간섭 이전에 얼마나 빨리 이루어지는가?
• RQ4 특정 임상 매개변수에 의존하는 기준 모델과 비교해 모델 성능는 어떻게 되는가? 특히 이 매개변수가 자주 누락되는 경우에 대해.
• RQ5 고정된 시간점에서의 표준 AUROC 평가보다 순차 기반 평가 접근 방식이 실제 임상 유용성을 더 잘 반영하는가?

주요 결과

• CNN-LSTM 모델은 석세미스 발병 3시간 전에 AUROC 0.856을 기록하여 강력한 조기 탐지 능력을 입증하였다.
• 석세미스 발병 24시간 전에는 AUROC 0.756를 유지하여 장기 예측 윈도우에서도 일관된 성능을 보였다.
• 예측 시점에 이미 정맥 항생제 투여나 혈액 배양을 받지 않은 석세미스 환자 비율이 높아, 조기 간섭을 유도할 잠재력이 높음을 시사하였다.
• 특정 임상 매개변수에 의존하는 기준 기반 기계학습 모델(GB-Vital)보다 모델 성능이 뛰어났으며, 이는 데이터셋에서 이 매개변수가 자주 누락되었기 때문이다.
• 모델는 누락 데이터가 많아도 성능이 뛰어나, 사전 정의된 특징이 필요 없이 원시 이벤트 시계열에서 직접 학습함으로써 강건성을 확보하였다.
• 병원 워크플로우 및 IT 시스템과 관련된 잠재적 편향을 규명하였으며, 조직적 프로세스가 모델의 일반화 능력에 영향을 줄 수 있음을 시사하였다.