[논문 리뷰] AttenGluco: Multimodal Transformer-Based Blood Glucose Forecasting on AI-READI Dataset

Ebrahim Farahmand, Reza Rahimi Azghan외 7명|ArXiv.org|2025. 02. 14.

Artificial Intelligence in Healthcare인용 수 3

한 줄 요약

AttenGluco는 CGM 및 활동 데이터를 교차 주의와 다중 스케일 주의를 통해 융합하는 다중 모달 Transformer 모델로, 장기 horizons에 걸쳐 혈당을 예측하고 AI-READI 데이터에서 다중 모달 LSTM 기본 모델을 능가합니다. 또한 코호트 일반화와 망각(forgiving) 행동을 분석합니다.

ABSTRACT

Diabetes is a chronic metabolic disorder characterized by persistently high blood glucose levels (BGLs), leading to severe complications such as cardiovascular disease, neuropathy, and retinopathy. Predicting BGLs enables patients to maintain glucose levels within a safe range and allows caregivers to take proactive measures through lifestyle modifications. Continuous Glucose Monitoring (CGM) systems provide real-time tracking, offering a valuable tool for monitoring BGLs. However, accurately forecasting BGLs remains challenging due to fluctuations due to physical activity, diet, and other factors. Recent deep learning models show promise in improving BGL prediction. Nonetheless, forecasting BGLs accurately from multimodal, irregularly sampled data over long prediction horizons remains a challenging research problem. In this paper, we propose AttenGluco, a multimodal Transformer-based framework for long-term blood glucose prediction. AttenGluco employs cross-attention to effectively integrate CGM and activity data, addressing challenges in fusing data with different sampling rates. Moreover, it employs multi-scale attention to capture long-term dependencies in temporal data, enhancing forecasting accuracy. To evaluate the performance of AttenGluco, we conduct forecasting experiments on the recently released AIREADI dataset, analyzing its predictive accuracy across different subject cohorts including healthy individuals, people with prediabetes, and those with type 2 diabetes. Furthermore, we investigate its performance improvements and forgetting behavior as new cohorts are introduced. Our evaluations show that AttenGluco improves all error metrics, such as root mean square error (RMSE), mean absolute error (MAE), and correlation, compared to the multimodal LSTM model. AttenGluco outperforms this baseline model by about 10% and 15% in terms of RMSE and MAE, respectively.

연구 동기 및 목표

• 멀티모달 데이터(CGMS + 활동)을 사용하여 제2형 당뇨병의 정확한 장기 혈당 예측의 동기를 제시합니다.
• 다른 샘플링 비율을 가진 이질적인 시계열을 융합할 수 있는 Transformer 기반 아키텍처를 개발합니다.
• 건강, 전당뇨, 경구약 복용 T2DM, 인슐린 복용 T2DM 등 다양한 코호트에서의 성능과 지속적 학습 시나리오를 평가합니다.
• 새로운 코호트를 도입할 때의 망각 현상을 조사하고 예측 구간에서의 강건성을 분석합니다.

제안 방법

• CGM과 활동 신호를 융합하기 위한 교차 주의(CA)와 다중 스케일 주의(MA) 두 가지 주의 메커니즘을 사용하는 Transformer 기반 예측 모델인 AttenGluco를 제안합니다.
• 임베딩 및 위치 인코딩을 거친 입력을 처리한 다음 두 개의 교차 주의 가지(CGM 쿼리, WS 및 WI를 키/값으로 사용)으로 적용합니다.
• CA 출력들을 결합하고 세 가지 축소 비율(요인 1, 2, 4)으로 다운샘플링한 뒤 다중 스케일 주의를 적용하여 미세한 패턴과 장기 패턴을 모두 포착합니다.
• 공유 Add & Norm과 피드포워드 네트워크를 사용하고, 최종적으로 m의 CGM 값을 예측하기 위한 선형 프로젝션으로 수렴합니다(매 5분마다, horizon m).
• AI-READI의 대표 데이터셋에서 벤치마크로 1D-CNN + LSTM 다중 모달 모델과 비교 평가를 수행합니다.
• 데이터 전처리, CA, MA, 출력 생성을 상세히 다루는 알고리즘 워크플로우(Algorithm 1)를 제공합니다.

실험 결과

연구 질문

• RQ1 AttenGluco가 건강한 상태, 전당뇨 전 상태, 당뇨병(B) 코호트에서 다중 모달 LSTM 기본 모델보다 RMSE, MAE, 상관관계에서 향상시킬 수 있는가?
• RQ2 교차 주의와 다중 스케일 주의가 혈당 예측에서 불규칙하게 샘플링된 다중 모달 시계열 학습에 어떻게 기여하는가?
• RQ3 5분(짧은 구간)과 30분, 60분( longer horizon) 예측에서 AttenGluco의 강건성은 어떠하며, 코호트별 미세조정으로 성능은 어떻게 달라지는가?
• RQ4 새로운 코호트에 대한 지속적 미세조정이 기존 코호트의 망각을 유발하는가, 그리고 이 점에서 AttenGluco는 벤치마크와 어떻게 비교되는가?

주요 결과

• AttenGluco는 모든 코호트와 지표에서 벤치마크를 능가하며, 고립된 피실험자 및 코호트별 미세조정 시 RMSE가 약 10~13% 감소합니다.
• 코호트별 미세조정 설정에서 AttenGluco는 건강, 전-T2DM, 경구약 복용, 인슐린 복용 코호트에서 더 높은 정확도를 달성합니다(예: Healthy RMSE 15.45 vs 17.79; Insulin RMSE 25.04 vs 28.22).
• 예측 구간 전반에서 AttenGluco는 구간이 길어질수록 RMSE가 더 안정적으로 유지됩니다(5, 30, 60분) 벤치마크에 비해.
• 새로운 코호트에 대한 지속적 미세조정은 벤치마크에 비해 망각이 감소하며, AttenGluco는 새로운 코호트에서 테스트 오류가 더 낮고 이전 지식을 더 잘 유지합니다.
• AttenGluco는 특히 긴 구간(60분)과 다양한 피험자 코호트 전반에서 가장 큰 향상을 보이며 장기 예측 능력이 향상됩니다.