[논문 리뷰] Deep Multi-Output Forecasting: Learning to Accurately Predict Blood Glucose Trajectories

Ian Fox, Lynn Ang외 3명|PubMed|2018. 06. 14.

Diabetes Management and Research참고 문헌 21인용 수 19

한 줄 요약

이 논문은 정확한 다단계 혈액 포도당 예측을 위한 두 가지 새로운 딥러닝 아키텍처—시간적 의존성을 명시적으로 모델링한 다중 출력 순환 네트워크인 SeqMO와 다항식 함수 예측 모델인 PolySeqMO—를 제안한다. 향후 포도당 경로를 공동으로 모델링하고 오차 전파를 줄임으로써, 이 방법들은 4.87%의 절대백분율오차(APE)를 달성하여 기준 모델을 크게 능가하며, 다중 출력 예측이 다단계 및 단일 단계 예측 성능을 모두 향상시킬 수 있음을 보여준다.

ABSTRACT

In many forecasting applications, it is valuable to predict not only the value of a signal at a certain time point in the future, but also the values leading up to that point. This is especially true in clinical applications, where the future state of the patient can be less important than the patient's overall trajectory. This requires multi-step forecasting, a forecasting variant where one aims to predict multiple values in the future simultaneously. Standard methods to accomplish this can propagate error from prediction to prediction, reducing quality over the long term. In light of these challenges, we propose multi-output deep architectures for multi-step forecasting in which we explicitly model the distribution of future values of the signal over a prediction horizon. We apply these techniques to the challenging and clinically relevant task of blood glucose forecasting. Through a series of experiments on a real-world dataset consisting of 550K blood glucose measurements, we demonstrate the effectiveness of our proposed approaches in capturing the underlying signal dynamics. Compared to existing shallow and deep methods, we find that our proposed approaches improve performance individually and capture complementary information, leading to a large improvement over the baseline when combined (4.87 <i>vs.</i> 5.31 absolute percentage error (APE)). Overall, the results suggest the efficacy of our proposed approach in predicting blood glucose level and multi-step forecasting more generally.

연구 동기 및 목표

• 임상 시계열 데이터의 순차적 다단계 예측에서 오차 누적 문제를 해결한다.
• 향후 포도당 분포를 공동으로 모델링하는 딥러닝 아키텍처를 통해 장기적 예측 정확도를 향상시킨다.
• 공동 감독을 통해 다중 출력 예측이 단일 출력 예측 성능을 향상시킬 수 있는지 탐색한다.
• 시간적 의존성과 기저 신호 동역학을 명시적으로 포착하는 보완적인 딥러닝 모델을 개발하고 평가한다.
• 정확한 다단계 포도당 예측의 임상적 의의를 입증하여 당뇨병 관리 및 폐쇄형 인슐린 투여 시스템에 기여한다.

제안 방법

• 시간 단계 간의 예측 간 의존성을 명시적인 연결을 통해 모델링하는 다중 출력 순환 신경망인 SeqMO를 제안한다.
• 기저 신호 동역학의 다항식 근사를 학습하여 동시에 여러 미래 값을 예측하는 새로운 아키텍처인 PolySeqMO를 도입한다.
• 각 단계의 손실 가중치를 조정할 수 있는 하이퍼파ram터 $ b_w $를 사용한 가중 손실 함수를 도입하여 다중 출력과 직접 예측 간의 탄력적 전환을 가능하게 한다.
• 1型 당뇨병 환자로부터 확보한 55만 건의 실제 혈액 포도당 측정치로 구성된 대규모 실세계 데이터셋을 사용해 모델을 훈련한다.
• SeqMO와 PolySeqMO를 앙상블하여 상호보완적인 강점을 활용하고 전체 성능을 향상시킨다.
• 유연한 손실 가중치 부여 방식을 적용한다: $ w_{l,i} = \frac{b_w^{h-i}}{\sum_{i=0}^{h} b_w^{h-i}} $, 이는 완전한 다중 출력 예측과 단일 출력 예측 간의 보간을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다단계 혈액 포도당 예측에서 순차적 예측 방법에 비해 다중 출력 딥러닝 아키텍처가 오차 누적을 줄일 수 있는가?
• RQ2 향후 포도당 값의 공동 분포를 모델링하면 단일 단계 또는 자기상관 예측 방법에 비해 장기 예측 정확도가 향상되는가?
• RQ3 다항식 기반 함수 예측 접근 방식이 포도당 경로의 기저 동역학을 효과적으로 포착할 수 있는가?
• RQ4 다중 출력 예측이 단일 출력 예측 작업 성능에 얼마나 기여하는가?
• RQ5 서로 보완적인 딥러닝 모델(SequMO와 PolySeqMO)이 앙상블을 통해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 SeqMO와 PolySeqMO 모델은 다단계 혈액 포도당 예측에서 기준 모델(5.31 APE)에 비해 유의미하게 높은 성능을 보이며, 절대백분율오차(APE)가 4.87%에 도달한다.
• SeqMO와 PolySeqMO를 앙상블하여 조합함으로써 개별 모델 및 기존 얕은 또는 깊은 기준 모델보다 뚜렷한 성능 향상을 달성한다.
• 단일 출력 예측에서도 전체 경로를 모델링하는 것이 성능 향상에 기여하며, 특히 중간 수준의 손실 가중치($ b_w = 0.5 $)를 사용할 경우 최고 성능(7.58 APE)을 기록한다.
• 다양한 랜덤 시드를 가진 10개의 PolySeqMO 모델 앙상블은 랜덤 포레스트 기준 모델(RF: MO)보다 고혈당 예측에서 더 우수한 성능(8.13 vs. 8.20 APE)을 보이며, 다중 출력 학습에서 앙상블의 이점을 입증한다.
• 다중 출력 접근 방식은 극단적 포도당 변동에 대해서도 성능을 향상시켜 기준 모델의 APE 13.34에서 12.05로 감소시켜 고위험 상황에서의 강건성을 보여준다.
• 결과적으로 다중 출력 예측은 최종적으로 단일 향후 값만 필요하더라도 추가적인 감독을 제공함으로써 일반화 능력을 향상시킨다는 점이 시사된다.