[论文解读] A Transformer-based Diffusion Probabilistic Model for Heart Rate and Blood Pressure Forecasting in Intensive Care Unit

Ping Chang, Huayu Li+5 more|arXiv (Cornell University)|Jan 16, 2023

Hemodynamic Monitoring and TherapyMedicine被引用 3

一句话总结

本文提出TDSTF，一种基于Transformer的扩散概率模型，利用稀疏、间歇性生命体征数据，对ICU患者的心率和血压进行预测。通过采用基于三元组的输入机制与Transformer主干网络，TDSTF在性能上达到最先进水平，相比最佳基线模型，SACRPS降低18.9%，MSE降低34.3%，且推理速度提升17倍以上。

ABSTRACT

Background and Objective: Vital sign monitoring in the Intensive Care Unit (ICU) is crucial for enabling prompt interventions for patients. This underscores the need for an accurate predictive system. Therefore, this study proposes a novel deep learning approach for forecasting Heart Rate (HR), Systolic Blood Pressure (SBP), and Diastolic Blood Pressure (DBP) in the ICU. Methods: We extracted $24,886$ ICU stays from the MIMIC-III database which contains data from over $46$ thousand patients, to train and test the model. The model proposed in this study, Transformer-based Diffusion Probabilistic Model for Sparse Time Series Forecasting (TDSTF), merges Transformer and diffusion models to forecast vital signs. The TDSTF model showed state-of-the-art performance in predicting vital signs in the ICU, outperforming other models' ability to predict distributions of vital signs and being more computationally efficient. The code is available at https://github.com/PingChang818/TDSTF. Results: The results of the study showed that TDSTF achieved a Standardized Average Continuous Ranked Probability Score (SACRPS) of $0.4438$ and a Mean Squared Error (MSE) of $0.4168$, an improvement of $18.9\%$ and $34.3\%$ over the best baseline model, respectively. The inference speed of TDSTF is more than $17$ times faster than the best baseline model. Conclusion: TDSTF is an effective and efficient solution for forecasting vital signs in the ICU, and it shows a significant improvement compared to other models in the field.

研究动机与目标

• 开发一种深度学习模型，即使在监测稀疏且间歇的情况下，也能准确预测ICU患者的的心率（HR）、收缩压（SBP）和舒张压（DBP）。
• 解决现有模型依赖连续数据且忽略临床背景（如干预措施和共病）的局限性。
• 通过将扩散概率模型与基于Transformer的架构相结合，提升在稀疏时间序列上的预测性能。
• 提升计算效率，以支持在危重 care 环境中实时临床部署。
• 在大规模ICU数据集（MIMIC-III）上评估模型，并证明其在多样化患者人群中的泛化能力与鲁棒性。

提出的方法

• 该模型TDSTF将扩散概率框架与基于Transformer的主干网络相结合，以建模稀疏生命体征序列中的复杂时间依赖关系。
• 采用基于三元组的输入表征方式，编码条件观测值、噪声和时间步长，从而提升信噪比并减少输入干扰。
• 通过反向马尔可夫链逐步去噪，利用带有Transformer编码器的去噪U-Net学习生命体征的底层分布。
• 采用变分下界目标端到端训练模型，最小化去噪过程的重建损失。
• 对条件输入应用掩码策略以防止信息泄露，但作者指出该方法可能无法完全排除无效数据。
• 通过优化去噪步数并利用Transformer架构的并行计算能力，加速推理过程。

实验结果

研究问题

• RQ1 扩散概率模型能否有效捕捉稀疏、非规则采样的ICU生命体征数据中的时间依赖性？
• RQ2 与基于RNN或仅注意力机制的模型相比，集成Transformer主干网络在稀疏时间序列中如何提升预测性能？
• RQ3 基于三元组的输入设计在多大程度上减少了噪声并提升了稀疏生命体征预测的信噪比？
• RQ4 在ICU生命体征预测任务中，TDSTF与CSDI、MQ-RNN和DeepAR等最先进模型相比，在准确性和推理速度方面表现如何？
• RQ5 即使目标数据缺失，模型是否仍能检测到突发性生理变化（如心动过速、低血压），表明其具备强大的表征学习能力？

主要发现

• TDSTF实现了标准化平均连续概率评分（SACRPS）为0.4438，相比最佳基线模型提升18.9%。
• 模型记录的均方误差（MSE）为0.4168，相比最佳基线模型降低34.3%。
• TDSTF的推理速度比最佳基线模型快17倍以上，显著提升了实时应用潜力。
• 即使在目标条件数据缺失的情况下，模型仍能成功捕捉生命体征的渐进趋势与突发生理变化，表明其具备强大的特征关联学习能力。
• 采用60个时间步的三元组输入设计提升了信噪比，且性能优于CSDI，后者因掩码效果不佳而残留噪声。
• 模型在HR、SBP和DBP预测中均表现出色，证明其在ICU场景下对多种生命体征具备良好的泛化能力。