[论文解读] All Data Inclusive, Deep Learning Models to Predict Critical Events in the Medical Information Mart for Intensive Care III Database (MIMIC III)

Anubhav Reddy Nallabasannagari, Madhu Reddiboina+4 more|arXiv (Cornell University)|Sep 2, 2020

Machine Learning in Healthcare参考文献 32被引用 8

一句话总结

本研究利用 MIMIC-III ICU 数据库中所有可用的数据源——结构化与非结构化数据——通过自然语言处理技术，开发深度学习模型以预测院内死亡率（IHM）和住院时间≥7天。在所有数据源（AS）上训练的模型在 IHM 上的 AUC-ROC 达到 0.9178，在 LOS 上达到 0.8806，显著优于仅使用图表数据（CS）的模型，表明全面整合电子健康记录（EHR）可显著提升危重症结局的预测准确性。

ABSTRACT

Intensive care clinicians need reliable clinical practice tools to preempt unexpected critical events that might harm their patients in intensive care units (ICU), to pre-plan timely interventions, and to keep the patient's family well informed. The conventional statistical models are built by curating only a limited number of key variables, which means a vast unknown amount of potentially precious data remains unused. Deep learning models (DLMs) can be leveraged to learn from large complex datasets and construct predictive clinical tools. This retrospective study was performed using 42,818 hospital admissions involving 35,348 patients, which is a subset of the MIMIC-III dataset. Natural language processing (NLP) techniques were applied to build DLMs to predict in-hospital mortality (IHM) and length of stay >=7 days (LOS). Over 75 million events across multiple data sources were processed, resulting in over 355 million tokens. DLMs for predicting IHM using data from all sources (AS) and chart data (CS) achieved an AUC-ROC of 0.9178 and 0.9029, respectively, and PR-AUC of 0.6251 and 0.5701, respectively. DLMs for predicting LOS using AS and CS achieved an AUC-ROC of 0.8806 and 0.8642, respectively, and PR-AUC of 0.6821 and 0.6575, respectively. The observed AUC-ROC difference between models was found to be significant for both IHM and LOS at p=0.05. The observed PR-AUC difference between the models was found to be significant for IHM and statistically insignificant for LOS at p=0.05. In this study, deep learning models were constructed using data combined from a variety of sources in Electronic Health Records (EHRs) such as chart data, input and output events, laboratory values, microbiology events, procedures, notes, and prescriptions. It is possible to predict in-hospital mortality with much better confidence and higher reliability from models built using all sources of data.

研究动机与目标

• 开发利用电子健康记录（EHR）中所有可用的结构化与非结构化数据的深度学习模型，以预测危重症 ICU 结局。
• 评估在所有数据源（AS）上训练的模型是否在预测院内死亡率（IHM）和住院时间≥7天（LOS）方面优于仅使用图表事件（CS）训练的模型。
• 证明通过自然语言处理（NLP）整合非结构化临床记录、检验结果、操作记录和药物数据，可提升预测性能。
• 提供一种数据工程流水线，无需人工挑选特征或固定时间采样，即可整合异构的 EHR 数据源。
• 为下一代基于全面真实世界 EHR 数据的临床决策支持工具奠定基础。

提出的方法

• 本研究使用 MIMIC-III v1.4 数据集，包含来自比提斯·以色列·迪亚孔内斯医疗中心的 42,818 次住院记录。
• 所有数据源——包括图表事件、输入/输出、检验结果、微生物学数据、操作记录、临床记录和处方信息——均被整合为单一数据流用于模型训练。
• 应用自然语言处理（NLP）技术将自由文本临床记录分词为单字词（unigrams），同时保留时间事件序列。
• 深度学习模型在原始事件序列上进行端到端训练，无需特征工程或固定时间分箱。
• 比较了两种模型变体：一种使用所有数据源（AS），另一种仅使用图表事件（CS），针对每个结局进行比较。
• 性能通过 AUC-ROC 和 PR-AUC 评估，统计显著性水平设定为 p=0.05。

实验结果

研究问题

• RQ1 在所有可用 EHR 数据源上训练的深度学习模型，是否能比仅使用图表数据的模型更准确地预测院内死亡率？
• RQ2 整合非结构化临床记录和多种数据类型是否能提升对住院时间≥7天的预测性能？
• RQ3 在 IHM 和 LOS 两种结局上，使用所有数据源带来的性能提升是否具有统计显著性？
• RQ4 分词序列中缺乏时间结构对模型性能有何影响？对未来建模有何启示？
• RQ5 基于 NLP 的异构 EHR 数据整合，在多大程度上可提升危重症预测的可靠性？

主要发现

• 在所有数据源（AS）上训练的深度学习模型在院内死亡率预测中达到 AUC-ROC 0.9178，显著优于仅使用图表数据的模型（CS）的 0.9029（p=0.05）。
• 在院内死亡率方面，AS 模型的 PR-AUC 为 0.6251，CS 模型为 0.5701，差异具有统计显著性（p=0.05）。
• 在住院时间≥7天方面，AS 模型的 AUC-ROC 为 0.8806，CS 模型为 0.8642，差异具有显著性（p=0.05）。
• LOS 的 PR-AUC 分别为 0.6821（AS）和 0.6575（CS），差异无统计显著性（p=0.05）。
• 共处理了来自 35,348 名患者的超过 7,500 万条事件，生成超过 3.55 亿个标记，证明了该数据流水线的可扩展性。
• 本研究证实，通过 NLP 实现的全面 EHR 整合可显著提升预测性能，尤其在死亡率预测方面，且无需依赖人工挑选的特征。