[论文解读] AttenGluco: Multimodal Transformer-Based Blood Glucose Forecasting on AI-READI Dataset

Ebrahim Farahmand, Reza Rahimi Azghan+7 more|ArXiv.org|Feb 14, 2025

Artificial Intelligence in Healthcare被引用 3

一句话总结

AttenGluco 是一个融合 CGM 与活动数据的多模态 Transformer 模型，利用跨注意力和多尺度注意力来进行长 horizon 的血糖预测，在 AI-READI 数据上超越多模态 LSTM 基线。它还分析了队列的泛化与遗忘行为。

ABSTRACT

Diabetes is a chronic metabolic disorder characterized by persistently high blood glucose levels (BGLs), leading to severe complications such as cardiovascular disease, neuropathy, and retinopathy. Predicting BGLs enables patients to maintain glucose levels within a safe range and allows caregivers to take proactive measures through lifestyle modifications. Continuous Glucose Monitoring (CGM) systems provide real-time tracking, offering a valuable tool for monitoring BGLs. However, accurately forecasting BGLs remains challenging due to fluctuations due to physical activity, diet, and other factors. Recent deep learning models show promise in improving BGL prediction. Nonetheless, forecasting BGLs accurately from multimodal, irregularly sampled data over long prediction horizons remains a challenging research problem. In this paper, we propose AttenGluco, a multimodal Transformer-based framework for long-term blood glucose prediction. AttenGluco employs cross-attention to effectively integrate CGM and activity data, addressing challenges in fusing data with different sampling rates. Moreover, it employs multi-scale attention to capture long-term dependencies in temporal data, enhancing forecasting accuracy. To evaluate the performance of AttenGluco, we conduct forecasting experiments on the recently released AIREADI dataset, analyzing its predictive accuracy across different subject cohorts including healthy individuals, people with prediabetes, and those with type 2 diabetes. Furthermore, we investigate its performance improvements and forgetting behavior as new cohorts are introduced. Our evaluations show that AttenGluco improves all error metrics, such as root mean square error (RMSE), mean absolute error (MAE), and correlation, compared to the multimodal LSTM model. AttenGluco outperforms this baseline model by about 10% and 15% in terms of RMSE and MAE, respectively.

研究动机与目标

• 动机：为2型糖尿病在多模态数据（CGM + 活动）条件下实现准确的长期血糖预测。
• 开发一种 Transformer 架构，能够融合采样率不同的异构时间序列。
• 在多样化队列（健康、前糖尿病、口服药物治疗的T2DM、胰岛素治疗的T2DM）与持续学习场景下评估性能。
• 分析在不同预测距离下的鲁棒性，并研究在引入新队列时的遗忘现象。

提出的方法

• 提出 AttenGluco，一种基于 Transformer 的预测模型，使用两种注意力机制：跨注意力用于融合 CGM 与活动信号，和多尺度注意力用于捕捉在多种下采样率下的时序相关性。
• 通过嵌入与位置编码处理输入，然后应用两个跨注意力分支（以 CGM 为查询，WS 与 WI 作为键/值）。
• 将 CA 输出整合后下采样为三个尺度（因子 1、2、4），并应用多尺度注意力以捕捉精细与长期模式。
• 使用共享的 Add & Norm 以及前馈网络，最终投影为线性输出，以预测 m 个 CGM 值（每 5 分钟，视 horizon 而定）。
• 在 AI-READI flagship 数据集上进行训练与评估，并与 1D-CNN + LSTM 的多模态模型进行基线比较。
• 给出一个算法工作流（Algorithm 1），详细描述数据预处理、CA、MA 与输出生成。

实验结果

研究问题

• RQ1 AttenGluco 是否在健康、前糖尿病以及糖尿病队列上，相对于多模态 LSTM 基线，在 RMSE、MAE 与相关性方面有所提升？
• RQ2 跨注意力与多尺度注意力如何帮助从不规则采样的多模态时间序列中学习血糖预测？
• RQ3 在短期（5 分钟）与较长时间窗（30、60 分钟）预测中，AttenGluco 的鲁棒性如何，队列特定微调对性能有何影响？
• RQ4 在新队列上进行持续微调是否会导致对先前队列的遗忘，与基线相比，AttenGluco 的表现如何？

主要发现

• AttenGluco在所有队列与度量上均优于基线，在孤立样本和队列层面的微调情景中，RMSE 降幅约为 10–13%。
• 在队列层面微调设置中，AttenGluco 在健康、前-T2DM、口服药物与胰岛素队列上获得更高的准确性（例如 Healthy RMSE 15.45 对 17.79； Insulin RMSE 25.04 对 28.22）。
• 在预测距离上，AttenGluco 在距离增加（5、30、60 分钟）时保持更稳定的 RMSE，与基线相比。
• 在新队列上的持续微调相对于基线能减少遗忘，AttenGluco 在新队列上的测试误差更低，同时对先前知识的保留更好。
• AttenGluco 在更长的时间窗（60 分钟）和多样化受试者队列中展现出最显著的增益，表明其长期预测能力提升。