[論文レビュー] AttenGluco: Multimodal Transformer-Based Blood Glucose Forecasting on AI-READI Dataset

Ebrahim Farahmand, Reza Rahimi Azghan+7 more|ArXiv.org|Feb 14, 2025

Artificial Intelligence in Healthcare被引用数 3

ひとこと要約

AttenGlucoはCGMと活動データをクロスアテンションとマルチスケールアテンションで統合するマルチモーダルトランスフォーマーモデルで、長期的な血糖予測を行い、AI-READIデータ上のマルチモーダルLSTMベースラインを上回る。コホート一般化と忘却挙動も分析。

ABSTRACT

Diabetes is a chronic metabolic disorder characterized by persistently high blood glucose levels (BGLs), leading to severe complications such as cardiovascular disease, neuropathy, and retinopathy. Predicting BGLs enables patients to maintain glucose levels within a safe range and allows caregivers to take proactive measures through lifestyle modifications. Continuous Glucose Monitoring (CGM) systems provide real-time tracking, offering a valuable tool for monitoring BGLs. However, accurately forecasting BGLs remains challenging due to fluctuations due to physical activity, diet, and other factors. Recent deep learning models show promise in improving BGL prediction. Nonetheless, forecasting BGLs accurately from multimodal, irregularly sampled data over long prediction horizons remains a challenging research problem. In this paper, we propose AttenGluco, a multimodal Transformer-based framework for long-term blood glucose prediction. AttenGluco employs cross-attention to effectively integrate CGM and activity data, addressing challenges in fusing data with different sampling rates. Moreover, it employs multi-scale attention to capture long-term dependencies in temporal data, enhancing forecasting accuracy. To evaluate the performance of AttenGluco, we conduct forecasting experiments on the recently released AIREADI dataset, analyzing its predictive accuracy across different subject cohorts including healthy individuals, people with prediabetes, and those with type 2 diabetes. Furthermore, we investigate its performance improvements and forgetting behavior as new cohorts are introduced. Our evaluations show that AttenGluco improves all error metrics, such as root mean square error (RMSE), mean absolute error (MAE), and correlation, compared to the multimodal LSTM model. AttenGluco outperforms this baseline model by about 10% and 15% in terms of RMSE and MAE, respectively.

研究の動機と目的

• マルチモーダルデータ（CGM + 活動）を用いて2型糖尿病の長期的血糖予測の正確性を向上させる。
• 異なるサンプリングレートを持つ異種時系列を統合可能なトランスフォーマー型アーキテクチャを開発する。
• 健常、前糖尿病、経口薬の2型糖尿病、インスリン治療中の2型糖尿病といった多様なコホートでの性能を評価する。
• 新たなコホート導入時の忘却を含む持続学習シナリオでの頑健性を分析する。

提案手法

• AttenGlucoを提案する。CGM信号と活動信号を統合するクロスアテンションと、時間的依存性を複数のダウンサンプリング率で捉えるマルチスケールアテンションという二つのアテンション機構を用いたトランスフォーマー系予測モデル。
• 入力を埋め込みと位置エンコーディングを経由させ、二つのクロスアテンション分岐（CGMをクエリ、WSとWIをキー/バリューとして使用）を適用。
• CA出力を組み合わせ、三つのスケール（因子1、2、4）へダウンサンプリングし、マルチスケールアテンションで細部と長期パターン両方を捉える。
• 共通のAdd & Normとフィードフォワードネットワークを用い、最終的に線形投影でm個のCGM値を予測（毎5分、ホライズンm）。
• AI-READIの旗艦データセットで訓練・評価を行い、1D-CNN + LSTMのマルチモーダルモデルをベースラインとして比較する。
• データ前処理、CA、MA、出力生成を詳述するアルゴリズムワークフロー（Algorithm 1）を提供する。

実験結果

リサーチクエスチョン

• RQ1 AttenGlucoは健常、前糖尿病、糖尿病コホート全体で、マルチモーダルLSTMベースラインに対してRMSE、MAE、相関を改善できるか。
• RQ2 クロスアテンションとマルチスケールアテンションは、血糖予測における不規則にサンプルされたマルチモーダル時系列の学習にどのように寄与するか。
• RQ3 短期（5分）と長期（30分、60分）の予測ホライズンでAttenGlucoの頑健性はどうか、コホート特定のファインチューニングで性能はどう変わるか。
• RQ4 新しいコホートで継続的にファインチューニングすると忘却が生じるか、またその点でAttenGlucoはベースラインとどう比較されるか。

主な発見

Cohort	Baseline RMSE @5	Baseline RMSE @30	Baseline RMSE @60	AttenGluco RMSE @5	AttenGluco RMSE @30	AttenGluco RMSE @60
Healthy	7.35	14.37	17.79	7.63	12.38	15.45
Pre-T2DM	7.94	15.43	19.77	8.70	13.50	17.47
Oral	9.15	17.73	23.37	9.33	15.21	20.45
Insulin	12.11	21.00	28.22	11.94	18.55	25.04

• AttenGlucoは全コホートと全指標でベースラインを上回り、 isolated-subject および cohort-wise ファインチューニングシナリオでRMSEを約10–13%低減。
• コホート別ファインチューニング設定では、Healthy、pre-T2DM、oral、および insulinコホートでより高い精度を達成（例：Healthy RMSE 15.45 vs 17.79; Insulin RMSE 25.04 vs 28.22）。
• 予測ホライズン全体で、AttenGlucoはホライズンが増加してもRMSEをより安定して維持（5、30、60分）。
• 新しいコホートへの継続的ファインチューニングは忘却をベースラインより抑制し、新しいコホートでのテスト誤差を低く、既存知識の保持を改善。
• AttenGlucoは長期ホライズン（60分）および多様な被験者コホートで最も大きな改善を示し、長期予測能力の向上を示唆。