[논문 리뷰] All Data Inclusive, Deep Learning Models to Predict Critical Events in the Medical Information Mart for Intensive Care III Database (MIMIC III)

Anubhav Reddy Nallabasannagari, Madhu Reddiboina외 4명|arXiv (Cornell University)|2020. 09. 02.

Machine Learning in Healthcare참고 문헌 32인용 수 8

한 줄 요약

이 연구는 자연어 처리를 통해 MIMIC-III ICU 데이터베이스의 모든 가용 데이터 소스—정형화된 데이터와 비정형 데이터—를 활용하여 입원 중 사망률(IHM)과 7일 이상 장기 입원을 예측하는 딥러닝 모델을 개발한다. 모든 데이터 소스(AS)를 사용해 훈련한 모델은 IHM에 대해 AUC-ROC 0.9178, 장기 입원(LOS)에 대해 0.8806을 기록하여, 차트 데이터만 사용한 모델(CS)보다 유의하게 뛰어나며, 종합적인 전자건강기록(EHR) 통합이 중환자 치료 결과 예측 정확도를 향상시킨다는 것을 보여준다.

ABSTRACT

Intensive care clinicians need reliable clinical practice tools to preempt unexpected critical events that might harm their patients in intensive care units (ICU), to pre-plan timely interventions, and to keep the patient's family well informed. The conventional statistical models are built by curating only a limited number of key variables, which means a vast unknown amount of potentially precious data remains unused. Deep learning models (DLMs) can be leveraged to learn from large complex datasets and construct predictive clinical tools. This retrospective study was performed using 42,818 hospital admissions involving 35,348 patients, which is a subset of the MIMIC-III dataset. Natural language processing (NLP) techniques were applied to build DLMs to predict in-hospital mortality (IHM) and length of stay >=7 days (LOS). Over 75 million events across multiple data sources were processed, resulting in over 355 million tokens. DLMs for predicting IHM using data from all sources (AS) and chart data (CS) achieved an AUC-ROC of 0.9178 and 0.9029, respectively, and PR-AUC of 0.6251 and 0.5701, respectively. DLMs for predicting LOS using AS and CS achieved an AUC-ROC of 0.8806 and 0.8642, respectively, and PR-AUC of 0.6821 and 0.6575, respectively. The observed AUC-ROC difference between models was found to be significant for both IHM and LOS at p=0.05. The observed PR-AUC difference between the models was found to be significant for IHM and statistically insignificant for LOS at p=0.05. In this study, deep learning models were constructed using data combined from a variety of sources in Electronic Health Records (EHRs) such as chart data, input and output events, laboratory values, microbiology events, procedures, notes, and prescriptions. It is possible to predict in-hospital mortality with much better confidence and higher reliability from models built using all sources of data.

연구 동기 및 목표

• 전자건강기록(EHR)의 모든 가용 정형 및 비정형 데이터를 활용하여 중환자 치료 결과를 예측하는 딥러닝 모델을 개발하는 것.
• 모든 데이터 소스(AS)로 훈련된 모델이 입원 중 사망률(IHM)과 7일 이상 장기 입원(LOS)을 예측할 때, 차트 이벤트만 사용한 모델(CS)보다 성능이 뛰어나다는지 평가하는 것.
• 비정형 임상 노트, 검사 결과, 절차, 약물 데이터를 자연어 처리(NLP)를 통해 통합함으로써 예측 성능 향상의 가치를 입증하는 것.
• 수작업으로 선택된 특징이나 고정된 시간 간격을 사용하지 않고, 이질적인 EHR 데이터 소스를 통합하는 데이터 엔지니어링 파이프라인을 제공하는 것.
• 포괄적이고 실세계적인 EHR 데이터를 기반으로 한 차세대 임상 의사결정 지원 도구의 기반을 마련하는 것.

제안 방법

• 연구는 베스 이撒비아 디아코네스 메모리얼 병원에서의 42,818건의 입원 기록을 포함하는 MIMIC-III v1.4 데이터셋을 사용한다.
• 모든 데이터 소스—차트 이벤트, 투여/배제 기록, 검사 결과, 미생물학 결과, 절차, 노트, 처방 정보—가 모델 훈련을 위해 단일 데이터 스트림으로 통합되었다.
• 자연어 처리(NLP) 기법을 적용하여 자유형 텍스트 임상 노트를 유니그램으로 토크나이즈하고, 시간 순서 기반의 이벤트 시퀀스를 유지하였다.
• 특징 공학 없이 고정된 시간 간격을 사용하지 않고, 원시 이벤트 시퀀스에 대해 종단 간 딥러닝 모델을 훈련시켰다.
• 두 가지 모델 버전을 비교: 각 결과에 대해 모든 데이터 소스(AS)를 사용한 모델과 차트 이벤트만 사용한 모델(CS).
• 성능 평가에는 AUC-ROC와 PR-AUC를 사용하였으며, 통계적 유의성 수준은 p=0.05로 설정하였다.

실험 결과

연구 질문

• RQ1 모든 가용 EHR 데이터 소스로 훈련된 딥러닝 모델이 차트 데이터만 사용한 모델보다 입원 중 사망률을 더 정확하게 예측할 수 있는가?
• RQ2 비정형 임상 노트와 다양한 유형의 데이터를 통합함으로써 7일 이상 장기 입원 예측 성능이 향상되는가?
• RQ3 모든 데이터 소스를 사용함으로써 얻는 성능 향상은 IHM 및 LOS 결과 모두에서 통계적으로 유의한가?
• RQ4 토크나이즈된 시퀀스에서 시간적 구조가 없는 것이 모델 성능에 어떤 영향을 미치며, 향후 모델링에 어떤 함의를 갖는가?
• RQ5 비정형 EHR 데이터의 NLP 기반 통합이 중환자 치료 예측 신뢰도 향상에 얼마나 기여할 수 있는가?

주요 결과

• 모든 데이터 소스(AS)로 훈련된 딥러닝 모델은 입원 중 사망률에 대해 AUC-ROC 0.9178를 기록하였고, 차트 전용 모델(CS)의 0.9029보다 유의하게 높았다(p=0.05).
• 입원 중 사망률에 대해 AS 모델은 PR-AUC 0.6251을 기록하였고, CS 모델은 0.5701이었으며, 통계적으로 유의한 차이가 있었다(p=0.05).
• 7일 이상 장기 입원에 대해 AS 모델은 AUC-ROC 0.8806을 기록하였고, CS 모델은 0.8642이었으며, 유의미한 차이가 있었다(p=0.05).
• LOS의 PR-AUC는 AS 모델이 0.6821, CS 모델이 0.6575였고, 통계적으로 유의하지 않았다(p=0.05).
• 35,348명의 환자로부터 약 7,500만 건의 이벤트가 처리되어 3억 5,500만 개 이상의 토큰이 생성되어 데이터 파이프라인의 확장성을 입증하였다.
• 이 연구는 NLP 기반의 포괄적 EHR 통합이 특징 선택 없이도 특히 사망률 예측에 있어 예측 성능을 크게 향상시킨다는 점을 확인하였다.