[논문 리뷰] Integration of Clinical Criteria into the Training of Deep Models: Application to Glucose Prediction for Diabetic People

Maxime De Bois, Mounîm A. El‐Yacoubi외 1명|arXiv (Cornell University)|2020. 09. 21.

Machine Learning in Healthcare참고 문헌 38인용 수 6

한 줄 요약

이 논문은 당뇨병 환자에서 실시간 혈당 예측을 위한 딥러닝 모델 훈련에 임상 기준, 특히 CG-EGA 지표를 통합하는 새로운 프레임워크를 제안한다. 혈당 위험에 따라 오차를 가중하는 개인화된 손실 함수(gcMSE)를 도입하고, PICA 알고리즘을 사용해 예측 정확도와 임상적 안전성 사이의 트레이드오프를 최적화함으로써, 생명을 위협하는 오차 탐지 능력이 크게 향상되면서도 높은 전체 정확도를 유지함을 입증하였다. 이는 두 개의 실제 데이터셋(IDIAB 및 OhioT1DM)을 대상으로 검증되었다.

ABSTRACT

Standard objective functions used during the training of neural-network-based predictive models do not consider clinical criteria, leading to models that are not necessarily clinically acceptable. In this study, we look at this problem from the perspective of the forecasting of future glucose values for diabetic people. In this study, we propose the coherent mean squared glycemic error (gcMSE) loss function. It penalizes the model during its training not only of the prediction errors, but also on the predicted variation errors which is important in glucose prediction. Moreover, it makes possible to adjust the weighting of the different areas in the error space to better focus on dangerous regions. In order to use the loss function in practice, we propose an algorithm that progressively improves the clinical acceptability of the model, so that we can achieve the best tradeoff possible between accuracy and given clinical criteria. We evaluate the approaches using two diabetes datasets, one having type-1 patients and the other type-2 patients. The results show that using the gcMSE loss function, instead of a standard MSE loss function, improves the clinical acceptability of the models. In particular, the improvements are significant in the hypoglycemia region. We also show that this increased clinical acceptability comes at the cost of a decrease in the average accuracy of the model. Finally, we show that this tradeoff between accuracy and clinical acceptability can be successfully addressed with the proposed algorithm. For given clinical criteria, the algorithm can find the optimal solution that maximizes the accuracy while at the same meeting the criteria.

연구 동기 및 목표

• 표준 통계적 손실 함수와 임상적으로 관련된 지표 사이의 격차를 해결하기 위해.
• CG-EGA 지표를 통합함으로써 예측 정확도와 혈당 변화율 정확도를 모두 평가하는 임상 수용성 향상을 위해.
• 특히 저혈당 또는 고혈당 영역에서 발생하는 오차에 대해 더 무거운 가중치를 적용하는 개인화된 손실 함수(gcMSE)를 개발하기 위해.
• 모델 정확도와 임상적 안전성 사이의 트레이드오프를 최적화하기 위해 PICA 알고리즘을 제안하여 임상의 또는 환자가 원하는 성능 기준을 선택할 수 있도록 하기 위해.
• 다양한 데이터 수집 프로토콜과 환자 프로필을 가진 두 개의 실제 데이터셋(IDIAB 및 OhioT1DM)에서 접근법을 검증하기 위해.

제안 방법

• cMSE 손실 함수에서 유도된 개인화된 손실 함수인 gcMSE를 제안하며, 이는 예측 오차가 P-EGA 및 R-EGA 격자 내에서 위치한 정도에 따라 가중치를 적용하여 임상적으로 위험한 오차에 초점을 맞춘다.
• 신호 진동을 줄이고 임상적 안전성을 향상시키기 위해 모델 예측에 지수 평활화(식 1)를 적용하며, 부드러움과 시간적 정렬 간 균형을 맞추기 위해 평활화 계수 β를 조정한다.
• 입력 시퀀스로 3시간(36개 샘플)의 슬라이딩 윈도우를 사용하고, 30분 예측 수준(6개 샘플 앞서기)을 설정하며, 훈련 세트 통계치를 사용해 특징을 표준화한다.
• 다단계 데이터 전처리 파이프라인을 구현: 한 번의 샘플에서 발생한 오류 있는 혈당 피크 제거, 5분 간격으로 재샘플링, 누락된 값에 대해 선형 보간 또는 외삽 처리, 진짜 값이 없는 샘플은 제거.
• 데이터를 훈련(80%), 검증(20%), 테스트 세트(마지지 5~10일)로 분할하며, 정확도를 높이기 위해 5번의 무작위 순서 변경을 수행하고, 후처리를 통해 예측값을 재스케일링 및 재정렬한다.
• 제약 최적화 접근법을 사용해 PICA 알고리즘을 반복적으로 적용하여 모델 출력을 조정함으로써 임상 성능(예: AP ≥ 90%)을 극대화하고 오차 발생률(EP ≤ 5%)을 최소화한다.

실험 결과

연구 질문

• RQ1 CG-EGA와 같은 임상 기준을 손실 함수에 통합함으로써 딥러닝 모델의 혈당 예측 안전성과 임상 수용성을 향상시킬 수 있는가?
• RQ2 제안된 gcMSE 손실 함수는 표준 손실 함수(MSE, cMSE 등)에 비해 생명을 위협하는 예측 오차를 얼마나 줄이는가?
• RQ3 PICA 알고리즘은 다양한 환자 데이터셋에서 일반 예측 정확도와 임상적 안전성 사이의 트레이드오프를 얼마나 효과적으로 최적화할 수 있는가?
• RQ4 자신의 데이터 수집 시스템(예: FreeStyle Libre 대비 OhioT1DM 기기)의 차이가 혈당 예측 모델의 임상 성능에 어떤 영향을 미치는가?
• RQ5 데이터셋 크기와 신호 품질의 영향은 AP 및 EP와 같은 임상 성능 지표의 일관성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• gcMSE 손실 함수는 표준 MSE 및 cMSE에 비해 특히 저혈당 및 고혈당 영역에서 생명을 위협하는 오차 발생률을 크게 낮춰 임상 수용성을 향상시켰다.
• IDIAB 데이터셋에서는 95%의 환자가 PICA 알고리즘을 사용해 AP ≥ 95% 및 EP ≤ 1%를 달성했고, OhioT1DM 데이터셋에서는 90%의 환자가 AP ≥ 90% 및 EP ≤ 5%를 달성했다.
• PICA 알고리즘은 모델 개인화를 성공적으로 가능하게 하여 사용자가 정확도와 임상적 안전성 사이의 원하는 균형을 선택할 수 있도록 했으며, IDIAB 환자 6명 중 6명이 AP ≥ 80% 및 EP ≤ 7%를 달성했다.
• MASE가 약간 증가했음(EDIAB: 1.03, OhioT1DM: 1.01)에도 불구하고, gcMSE와 PICA로 훈련된 모델는 뛰어난 임상 성능를 보였으며, 실제 임상적 안전 요구사항과 더 잘 부합됨을 시사한다.
• 연구 결과, 임상 성능는 환자 및 데이터셋 간에 상당한 차이를 보였으며, IDIAB 환자는 더 낮은 신호 노이즈와 더 높은 샘플링 주기(15분 대비 5분) 덕분에 더 좋은 결과를 얻었다. 이는 표준화된 임상 평가 프로토콜의 필요성을 강조한다.
• IDIAB 데이터셋의 MASE 표준편차가 높은 것은 작은 샘플 크기 때문이며, 이는 모델 성능이 환자 간에 매우 변동성이 있음을 시사하며, 일반화 및 신뢰성 향상을 위해 더 크고 다양한 데이터셋이 필요하다는 것을 시사한다.