[论文解读] Enhancing Glucose Level Prediction of ICU Patients through Hierarchical Modeling of Irregular Time-Series

Hadi Mehdizavareh, Arijit Khan+1 more|arXiv (Cornell University)|Nov 3, 2024

Diabetes Management and Research被引用 4

一句话总结

本文提出 MITST，一种分层 Transformer 模型，通过整合不规则、多源临床时间序列数据（实验室检查结果、药物记录、生命体征），实现对 ICU 血糖水平的预测。通过分层建模特征、时间戳和数据源，MITST 提升了预测准确性——相比最先进基线模型，AUC 提高 1.7%，AUPRC 提高 1.8%，在低血糖预测中分别达到 0.915 和 0.247 的 AUC 与 AUPRC。

ABSTRACT

Accurately predicting blood glucose (BG) levels of ICU patients is critical, as both hypoglycemia (BG < 70 mg/dL) and hyperglycemia (BG > 180 mg/dL) are associated with increased morbidity and mortality. This study presents a proof-of-concept machine learning framework, the Multi-source Irregular Time-Series Transformer (MITST), designed to predict BG levels in ICU patients. In contrast to existing methods that rely heavily on manual feature engineering or utilize limited Electronic Health Record (EHR) data sources, MITST integrates diverse clinical data--including laboratory results, medications, and vital signs without predefined aggregation. The model leverages a hierarchical Transformer architecture, designed to capture interactions among features within individual timestamps, temporal dependencies across different timestamps, and semantic relationships across multiple data sources. Evaluated using the extensive eICU database (200,859 ICU stays across 208 hospitals), MITST achieves a statistically significant ( p < 0.001 ) average improvement of 1.7 percentage points (pp) in AUROC and 1.8 pp in AUPRC over a state-of-the-art random forest baseline. Crucially, for hypoglycemia--a rare but life-threatening condition--MITST increases sensitivity by 7.2 pp, potentially enabling hundreds of earlier interventions across ICU populations. The flexible architecture of MITST allows seamless integration of new data sources without retraining the entire model, enhancing its adaptability for clinical decision support. While this study focuses on predicting BG levels, we also demonstrate MITST's ability to generalize to a distinct clinical task (in-hospital mortality prediction), highlighting its potential for broader applicability in ICU settings. MITST thus offers a robust and extensible solution for analyzing complex, multi-source, irregular time-series data.

研究动机与目标

• 解决 ICU 患者血糖水平预测的挑战，因低血糖和高血糖均与死亡率和发病率升高相关。
• 克服传统时间序列模型假设采样规则且依赖预定义异质性 EHR 数据聚合方式的局限性。
• 开发一种灵活的端到端学习框架，无需人工特征工程，即可整合多源、不规则采样的临床数据。
• 通过确保快速推理和模块化可扩展性，支持新数据源的动态适应，实现临床决策支持的实时应用。
• 提升对临床关键事件（尤其是高死亡风险的低血糖）的预测性能。

提出的方法

• 提出 MITST（多源不规则时间序列 Transformer），包含三个分层 Transformer 编码器：特征层级、时间戳层级和源层级。
• 采用可学习的位置编码方案，建模测量值之间可变的到达时间间隔，以处理不规则时间序列数据。
• 通过跨所有数据类型（实验室检查结果、药物记录、生命体征）的多头自注意力机制，学习共享表示空间，实现异质性临床数据的融合。
• 使用联合表示层融合所有来源的信息，实现基于预测相关性的动态注意力机制，自动关注关键数据流。
• 应用分类头，将下一时刻的血糖水平预测为低血糖（<70 mg/dL）、正常血糖（70–180 mg/dL）或高血糖（>180 mg/dL）。
• 通过仅微调源特定层和顶层，实现增量式适应，无需重新训练核心模型，从而保留模型稳定性。

实验结果

研究问题

• RQ1 分层 Transformer 架构能否有效建模来自 EHR 的不规则、多源时间序列数据，从而提升 ICU 患者血糖水平预测性能？
• RQ2 MITST 的端到端、基于学习的数据集成方式，相较于传统聚合方法，在捕捉临床相关时间模式方面表现如何？
• RQ3 与最先进基线相比，MITST 在关键血糖事件（尤其是低血糖）预测性能上提升程度如何？
• RQ4 MITST 是否能灵活扩展以集成新的临床数据源，而无需完整重训练，从而增强其临床可部署性？
• RQ5 模型的动态注意力机制是否能自动优先关注临床相关数据源（如血糖预测中实验室检查结果）？

主要发现

• 在 eICU 数据集上，MITST 相比最先进基线模型，AUC 提高 1.7%（p < 0.001），AUPRC 提高 1.8%（p < 0.001）。
• 在低血糖预测中，MITST 达到 AUC 0.915 和 AUPRC 0.247，显著优于基线模型（AUC：0.862，AUPRC：0.208；p < 0.001）。
• 尽管训练时间较长，模型推理速度极快——仅需数毫秒，适合实时临床部署。
• MITST 动态分配更高的注意力权重给更相关的数据源，例如在血糖预测中优先关注实验室检查结果，且无需人工特征工程。
• 模块化架构允许通过仅微调源特定层和顶层，无缝集成新数据源，显著降低计算开销。
• 模型在 208 家医院和 200,859 例 ICU 住院记录中表现出良好的泛化能力，证明其在真实临床环境中的鲁棒性与可扩展性。