[论文解读] Integration of Clinical Criteria into the Training of Deep Models: Application to Glucose Prediction for Diabetic People

Maxime De Bois, Mounîm A. El‐Yacoubi+1 more|arXiv (Cornell University)|Sep 21, 2020

Machine Learning in Healthcare参考文献 38被引用 6

一句话总结

该论文提出了一种新颖的框架，将临床标准——特别是CG-EGA指标——整合到深度学习模型的训练中，用于糖尿病患者实时血糖预测。通过引入一种基于血糖风险加权误差的个性化损失函数（gcMSE），并利用PICA算法优化预测精度与临床安全性的权衡，该方法显著提升了对危及生命的错误的检测能力，同时保持了较高的整体准确性，该方法在两个真实世界数据集（IDIAB和OhioT1DM）上得到了验证。

ABSTRACT

Standard objective functions used during the training of neural-network-based predictive models do not consider clinical criteria, leading to models that are not necessarily clinically acceptable. In this study, we look at this problem from the perspective of the forecasting of future glucose values for diabetic people. In this study, we propose the coherent mean squared glycemic error (gcMSE) loss function. It penalizes the model during its training not only of the prediction errors, but also on the predicted variation errors which is important in glucose prediction. Moreover, it makes possible to adjust the weighting of the different areas in the error space to better focus on dangerous regions. In order to use the loss function in practice, we propose an algorithm that progressively improves the clinical acceptability of the model, so that we can achieve the best tradeoff possible between accuracy and given clinical criteria. We evaluate the approaches using two diabetes datasets, one having type-1 patients and the other type-2 patients. The results show that using the gcMSE loss function, instead of a standard MSE loss function, improves the clinical acceptability of the models. In particular, the improvements are significant in the hypoglycemia region. We also show that this increased clinical acceptability comes at the cost of a decrease in the average accuracy of the model. Finally, we show that this tradeoff between accuracy and clinical acceptability can be successfully addressed with the proposed algorithm. For given clinical criteria, the algorithm can find the optimal solution that maximizes the accuracy while at the same meeting the criteria.

研究动机与目标

• 解决标准统计损失函数与临床相关指标之间在血糖预测模型中的差距。
• 通过整合CG-EGA指标提升血糖预测的临床可接受性，该指标可评估不同血糖区域中预测精度和变化率精度的综合表现。
• 开发一种个性化损失函数（gcMSE），在高风险血糖区域（如低血糖或高血糖）发生误差时施加更重的惩罚。
• 提出PICA算法以优化模型精度与临床安全性之间的权衡，使临床医生或患者能够选择期望的性能阈值。
• 在两个真实世界数据集（IDIAB和OhioT1DM）上验证该方法，其数据采集方案和患者特征各不相同。

提出的方法

• 提出一种基于cMSE损失的个性化损失函数gcMSE，根据误差在P-EGA和R-EGA网格中的位置对预测误差进行加权，突出临床危险误差。
• 应用指数平滑（公式1）对模型预测进行处理，以减少信号振荡并提高临床安全性，平滑系数β通过调优以平衡平滑性与时间对齐性。
• 使用3小时（36个样本）的滑动窗口生成输入序列，预测时延为30分钟（6个样本），并使用训练集统计量对特征进行标准化。
• 实施多步数据预处理流程：清洗单一样本的血糖峰值错误，重采样至5分钟间隔，对缺失值进行线性插值或外推，并丢弃真实值缺失的样本。
• 将数据划分为训练集（80%）、验证集（20%）和测试集（最后5–10天），进行5次随机排列以提高鲁棒性，并对预测结果进行后处理以重新标定和排序。
• 采用PICA算法迭代调整模型输出，以在最小化误差发生率（EP ≤ 5%）的同时最大化临床性能（如AP ≥ 90%），采用约束优化方法。

实验结果

研究问题

• RQ1 将CG-EGA等临床标准整合到损失函数中，是否能提升深度学习模型在血糖预测中的安全性与临床可接受性？
• RQ2 与标准损失函数（如MSE、cMSE）相比，所提出的gcMSE损失函数在减少危及生命的预测误差方面表现如何？
• RQ3 PICA算法在多样化患者数据集上，能在多大程度上优化一般预测精度与临床安全性之间的权衡？
• RQ4 不同数据采集系统（如FreeStyle Libre与OhioT1DM设备）的差异如何影响血糖预测模型的临床表现？
• RQ5 数据集规模和信号质量对临床性能指标（如AP和EP）的一致性与可靠性有何影响？

主要发现

• 与标准MSE和cMSE相比，gcMSE损失函数显著提升了临床可接受性，特别是在低血糖和高血糖区域，显著降低了危及生命的错误发生率。
• 在IDIAB数据集中，95%的患者使用PICA算法后达到AP ≥ 95%且EP ≤ 1%；在OhioT1DM数据集中，90%的患者达到AP ≥ 90%且EP ≤ 5%。
• PICA算法成功实现了模型个性化，使用户能够选择精度与临床安全性之间的期望权衡，6名IDIAB患者中有6名达到AP ≥ 80%且EP ≤ 7%。
• 尽管MASE略有上升（IDIAB为1.03，OhioT1DM为1.01），但使用gcMSE和PICA训练的模型展现出更优的临床性能，表明其与真实世界安全需求更契合。
• 研究发现临床性能在不同患者和数据集之间存在显著差异，IDIAB患者表现更优，原因在于其信号噪声更低且采样频率更高（15分钟 vs. 5分钟），凸显了建立标准化临床评估协议的必要性。
• IDIAB数据集MASE标准差较高（因样本量小），表明模型性能在不同受试者间高度可变，提示需要更大、更多样化的数据集以提升泛化能力和可靠性。