[论文解读] Clinical Intervention Prediction and Understanding using Deep Networks

Harini Suresh, Nathan Hunt+4 more|arXiv (Cornell University)|May 23, 2017

Machine Learning in Healthcare参考文献 15被引用 78

一句话总结

论文开发面向前方的 LSTM 和 CNN 模型，使用多模态 MIMIC-III 数据预测多种 ICU 干预的发生和撤离/停用，达到最先进的 AUC，并通过特征遮挡和激活分析提供可解释性。

ABSTRACT

Real-time prediction of clinical interventions remains a challenge within intensive care units (ICUs). This task is complicated by data sources that are noisy, sparse, heterogeneous and outcomes that are imbalanced. In this paper, we integrate data from all available ICU sources (vitals, labs, notes, demographics) and focus on learning rich representations of this data to predict onset and weaning of multiple invasive interventions. In particular, we compare both long short-term memory networks (LSTM) and convolutional neural networks (CNN) for prediction of five intervention tasks: invasive ventilation, non-invasive ventilation, vasopressors, colloid boluses, and crystalloid boluses. Our predictions are done in a forward-facing manner to enable "real-time" performance, and predictions are made with a six hour gap time to support clinically actionable planning. We achieve state-of-the-art results on our predictive tasks using deep architectures. We explore the use of feature occlusion to interpret LSTM models, and compare this to the interpretability gained from examining inputs that maximally activate CNN outputs. We show that our models are able to significantly outperform baselines in intervention prediction, and provide insight into model learning, which is crucial for the adoption of such models in practice.

研究动机与目标

• 将异质 ICU 数据（生理指标、实验室指标、笔记、人口统计信息）整合，用于预测侵入性干预的发生与撤离。
• 开发面向前方的实时预测模型，具有六小时间隔窗口。
• 比较 LSTM 和 CNN 架构在多任务干预预测中的表现。
• 通过特征遮挡（LSTM）和输入激活分析（CNN）探索模型可解释性。

提出的方法

• 将静态变量、随时间变化的生理/实验室指标和笔记结合成以小时为单位的特征向量，其中包括笔记的主题分布。
• 使用 50-topic 的 LDA 分布表示笔记并随时间复制。
• 通过将 z-score 化的生理指标离散化以捕捉缺失性并降低噪声，从而引入生理词汇。
• 训练两种深度结构（LSTM 拥有两层 512 神经元；CNN 具有多粒度时序卷积）以及一个逻辑回归基线。
• 使用按类别 AUC 和宏观 AUC 进行评估，采用 70/10/20 的训练/验证/测试划分，并在验证 AUC 上早停。

实验结果

研究问题

• RQ1 深度学习模型是否能够利用所有可用数据模态，在 ICU 预测侵入性和非侵入性干预的发生、撤离以及持续状态？
• RQ2 LSTM 和 CNN 架构是否在多任务 ICU 干预预测中提供互补优势？
• RQ3 不同数据模态（生理/实验室指标 vs. 笔记 vs. 静态人口统计信息）在每种干预的预测性能中贡献如何？
• RQ4 通过特征遮挡（LSTM）和激活分析（CNN）是否可实现这些模型的可解释性？

主要发现

• 深度架构在跨任务的五种 ICU 干预（发生、撤离、继续开启、停止开启）预测中实现了最先进的 AUC。
• 生理词汇表示在低发生率事件的发现在预测中提高（例如通气发生从 0.61 提升到 0.75，胶体推注发生从 0.52 提升到 0.72）。
• LSTM 遮挡显示生理/实验室指标驱动对侵入性干预的预测，而笔记/主题在较少侵入性的任务中占主导。
• CNN 分析揭示临床上合理的短期轨迹以及最大化特定输出的幻觉输入，帮助可解释性。
• 减退/撤离预测的 AUC 方差较小，表明在决定停止干预方面临床一致性更高。