[论文解读] Deep Learning to Attend to Risk in ICU

Phuoc Nguyen, Truyen Tran+1 more|arXiv (Cornell University)|Jul 17, 2017

Machine Learning in Healthcare参考文献 14被引用 12

一句话总结

该论文提出了一种基于长短期记忆（LSTM）网络的深度学习模型，结合双层次注意力机制，用于从不规则采样的生理时间序列中预测ICU死亡率。该模型利用信号级注意力机制选择具有信息量的测量值，通过推理级注意力机制加权关键时间区间，最终在PhysioNet 2012数据集上实现了0.839的AUC，优于基线方法，并提供了可解释的风险评估。

ABSTRACT

Modeling physiological time-series in ICU is of high clinical importance. However, data collected within ICU are irregular in time and often contain missing measurements. Since absence of a measure would signify its lack of importance, the missingness is indeed informative and might reflect the decision making by the clinician. Here we propose a deep learning architecture that can effectively handle these challenges for predicting ICU mortality outcomes. The model is based on Long Short-Term Memory, and has layered attention mechanisms. At the sensing layer, the model decides whether to observe and incorporate parts of the current measurements. At the reasoning layer, evidences across time steps are weighted and combined. The model is evaluated on the PhysioNet 2012 dataset showing competitive and interpretable results.

研究动机与目标

• 解决ICU监测中不规则采样和缺失生理时间序列带来的挑战，这些因素使得传统统计建模变得复杂。
• 建模反映在测量时间点和遗漏行为中的临床决策过程，将缺失性视为信息性特征。
• 通过整合动态加权个体生物标志物和关键时间区间的注意力机制，提升ICU死亡率预测性能。
• 通过突出显示对风险预测贡献最大的测量值和时间段，增强模型的可解释性。
• 基于注意力概率和预测死亡率风险，开发一种实时预警框架。

提出的方法

• 将ICU时间序列预处理为固定3小时的时间段，使用患者特定或全局均值对缺失值进行插补，并为每个时间段计算汇总统计量（最小值、最大值、均值、中位数、标准差）。
• 使用长短期记忆（LSTM）网络编码时间动态，其中输入门和遗忘门根据输入的相关性控制信息流动。
• 通过LSTM输入门实现信号级注意力，以在每个时间步选择性地整合具有信息量的生物标志物。
• 在LSTM隐藏状态上应用多个推理级注意力头，以动态加权不同时间区间对结果预测的重要性。
• 使用多个注意力头对加权后的隐藏状态进行池化，生成上下文感知的特征向量用于分类。
• 使用交叉熵损失函数进行端到端训练，并在输入层和输出层应用Dropout正则化以减少过拟合。

实验结果

研究问题

• RQ1 在存在不规则采样和缺失生理数据的情况下，注意力机制是否能提升ICU死亡率预测性能？
• RQ2 通过选择性注意力将缺失性建模为信息性特征，是否相比标准插补或池化方法能提升预测性能？
• RQ3 双层次注意力（信号级与时间级）在多大程度上提升了模型的可解释性与临床相关性？
• RQ4 与SOTA方法（如LSTM、GRU和双向LSTM）相比，所提出的模型在PhysioNet 2012基准上的表现如何？
• RQ5 注意力概率是否可作为超越结果预测的、用于识别危重患者状态的实时预警信号？

主要发现

• 所提出的模型在PhysioNet 2012数据集上实现了0.839的AUC，优于标准LSTM（AUC 0.825）和双向LSTM结合注意力机制（AUC 0.839）。
• 注意力机制的引入显著提升了预测准确率，相较于使用均值池化的标准LSTM，证明了选择性信息加权的价值。
• 双向LSTM结合注意力机制相较于单向LSTM结合注意力机制仅实现微小提升，表明未来对长期依赖关系的建模可能从双向上下文获益。
• 注意力概率有效突出了临床相关的时序区间，高注意力值与高风险期及异常生物标志物趋势高度一致。
• 通过将注意力权重与原始测量值及疾病状态可视化，验证了模型的可解释性，为潜在的实时临床预警提供了支持。
• 该方法在完整序列统计量上的逻辑回归模型（AUC 0.791）及其他基于插补的基线模型中表现更优，证实了端到端学习结合注意力机制的优势。