[论文解读] Model-Based Reinforcement Learning for Type 1Diabetes Blood Glucose Control

Taku Yamagata, Aisling Ann O’Kane+6 more|arXiv (Cornell University)|Oct 13, 2020

Diabetes Management and Research被引用 9

一句话总结

该论文提出了一种基于模型的强化学习（MBRL）框架，用于1型糖尿病的自动胰岛素给药，采用回声状态网络（ESNs）预测血糖水平，并利用模型预测控制（MPC）进行动作规划。通过引入基于集成的不确定性估计，该方法提升了样本效率和鲁棒性，在模拟实验中优于基础- bolus 控制器和深度Q网络（DQN）基线模型，尤其在早期学习阶段和多种患者群体中表现更优。

ABSTRACT

In this paper we investigate the use of model-based reinforcement learning to assist people with Type 1 Diabetes with insulin dose decisions. The proposed architecture consists of multiple Echo State Networks to predict blood glucose levels combined with Model Predictive Controller for planning. Echo State Network is a version of recurrent neural networks which allows us to learn long term dependencies in the input of time series data in an online manner. Additionally, we address the quantification of uncertainty for a more robust control. Here, we used ensembles of Echo State Networks to capture model (epistemic) uncertainty. We evaluated the approach with the FDA-approved UVa/Padova Type 1 Diabetes simulator and compared the results against baseline algorithms such as Basal-Bolus controller and Deep Q-learning. The results suggest that the model-based reinforcement learning algorithm can perform equally or better than the baseline algorithms for the majority of virtual Type 1 Diabetes person profiles tested.

研究动机与目标

• 开发一种样本高效、自适应的1型糖尿病胰岛素给药系统，采用基于模型的强化学习。
• 通过量化血糖预测中的模型不确定性，提升决策的鲁棒性。
• 将所提出的MBRL框架与既有的基线方法（如基础- bolus 控制器和深度Q网络（DQN））进行对比评估。
• 评估不确定性估计对不同患者群体中学习效率和控制性能的影响。
• 通过利用学习模型生成的反事实预测，实现胰岛素剂量推荐的可解释性。

提出的方法

• 系统使用多个回声状态网络（ESNs）从时间序列输入（包括进餐和胰岛素数据）预测未来的血糖水平。
• 采用ESN的集成方法估计预测中的认知不确定性，增强对模型误差的鲁棒性。
• 模型预测控制（MPC）通过使用ESN预测模拟未来轨迹，规划最优胰岛素剂量。
• MBRL智能体通过与UVa/Padova模拟器在线交互进行在线学习，最大化以目标血糖范围（70–180 mg/dL）为基准的奖励函数。
• 训练过程中采用不确定性感知的成本计算，通过在多个ESN预测上取平均来反映预测置信度。
• 使用24小时episode时长进行评估，性能通过处于目标血糖范围内的时长进行衡量。

实验结果

研究问题

• RQ1 基于模型的强化学习方法是否能在1型糖尿病管理中实现优于或等同于传统胰岛素管理策略的性能？
• RQ2 通过ESN集成引入模型不确定性，对胰岛素给药中的学习速度和控制稳定性有何影响？
• RQ3 该MBRL框架在具有不同年龄、活动水平和胰岛素敏感性的多样化虚拟患者群体中，泛化能力如何？
• RQ4 不确定性感知的MBRL智能体与非不确定性感知变体相比，在早期学习阶段和长期性能上表现如何？
• RQ5 MBRL系统能否生成可解释的、反事实的预测，以支持临床决策？

主要发现

• 在大多数虚拟患者群体中，MBRL智能体在目标血糖范围（70–180 mg/dL）内停留的时间占比最高，优于基础- bolus 控制器和GRU-DQN基线模型。
• 对于青少年#001，MBRL智能体实现了100%的目标血糖范围停留时间，显著高于基础- bolus 控制器（85.8%）和GRU-DQN（81.4%）。
• 不确定性感知的MBRL变体在训练早期即达到完整的24小时episode时长（无提前终止），表明其在早期学习阶段具有更高的样本效率。
• 在渐近性能方面，不确定性感知与非不确定性感知的MBRL变体表现相近，分别为成人#001的56.8%和56.7%目标血糖范围停留时间。
• MBRL框架在多样化患者群体中表现出强鲁棒性，包括儿童（child#001: 59.6%在范围内）、青少年（adolescent#001: 100%）和成人（adult#002: 73.3%）。
• 不确定性估计机制显著提升了早期学习阶段的性能，尤其在高变异性或模型理解不足的患者状态下，通过引导更安全的探索实现优化。