[论文解读] Deep Reinforcement Learning for Closed-Loop Blood Glucose Control

Ian Fox, Joyce M. Lee+2 more|arXiv (Cornell University)|Sep 18, 2020

Diabetes Management and Research参考文献 40被引用 28

一句话总结

该论文提出了一种深度强化学习（DRL）框架，用于1型糖尿病的自动化闭环血糖控制，采用患者特异性动作空间和迁移学习，仅需极少的患者特异性数据即可实现稳健性能。在30名模拟患者中，中位血糖风险降低50%（从8.34降至4.24），低血糖时间减少99.8%（从4,610天降至6天），优于基线PID控制，并能有效适应可预测的进餐时间安排。

ABSTRACT

People with type 1 diabetes (T1D) lack the ability to produce the insulin their bodies need. As a result, they must continually make decisions about how much insulin to self-administer to adequately control their blood glucose levels. Longitudinal data streams captured from wearables, like continuous glucose monitors, can help these individuals manage their health, but currently the majority of the decision burden remains on the user. To relieve this burden, researchers are working on closed-loop solutions that combine a continuous glucose monitor and an insulin pump with a control algorithm in an `artificial pancreas.' Such systems aim to estimate and deliver the appropriate amount of insulin. Here, we develop reinforcement learning (RL) techniques for automated blood glucose control. Through a series of experiments, we compare the performance of different deep RL approaches to non-RL approaches. We highlight the flexibility of RL approaches, demonstrating how they can adapt to new individuals with little additional data. On over 2.1 million hours of data from 30 simulated patients, our RL approach outperforms baseline control algorithms: leading to a decrease in median glycemic risk of nearly 50% from 8.34 to 4.24 and a decrease in total time hypoglycemic of 99.8%, from 4,610 days to 6. Moreover, these approaches are able to adapt to predictable meal times (decreasing average risk by an additional 24% as meals increase in predictability). This work demonstrates the potential of deep RL to help people with T1D manage their blood glucose levels without requiring expert knowledge. All of our code is publicly available, allowing for replication and extension.

研究动机与目标

• 开发一种深度强化学习（DRL）方法，用于1型糖尿病的自动化血糖控制，以减少对人工胰岛素剂量调整和进餐通知的依赖。
• 通过引入一种迁移学习方法，解决患者特异性数据有限的挑战，实现在极少数据下快速适应。
• 通过奖励函数设计、数据随机性处理和随机重启下的模型选择，减轻灾难性失败，提升DRL在医疗应用中的安全性和稳定性。
• 在真实、开源的虚拟患者模拟器中，评估DRL相对于非强化学习基线（如PID）的性能表现。
• 提供公开可用的代码库，以支持方法的复现、扩展及在临床强化学习中的广泛应用。

提出的方法

• 采用患者特异性动作空间的深度Q网络（DQN），通过归一化个体间胰岛素剂量，实现安全与疗效的平衡。
• 提出一种迁移学习策略（RL-Trans），使用来自多样化患者群体的预训练模型初始化策略网络，仅需约半年（10个周期）的患者特异性数据即可实现快速适应。
• 设计一种安全增强的奖励函数，对低血糖和高血糖进行惩罚，同时避免对胰岛素使用的过度惩罚，提升鲁棒性并减少灾难性失败。
• 通过在多个随机重启中使用验证数据进行广泛模型选择，避免过拟合，并筛选出失败率低的稳定策略。
• 在包含30名虚拟患者、总计210万小时数据的大规模模拟器中进行评估，采用长时程轨迹（rollouts）以衡量真实世界性能。
• 使用4小时的实时状态历史（葡萄糖和胰岛素数据）作为输入，以捕捉近期趋势，同时避免对长期模式的过拟合。

实验结果

研究问题

• RQ1 深度强化学习是否能在不依赖进餐通知的情况下，实现1型糖尿病患者的人类水平血糖控制？
• RQ2 迁移学习如何提升训练患者特异性DRL策略进行血糖控制的样本效率？
• RQ3 在关键安全的医疗应用中，哪些技术可稳定深度强化学习，以最小化灾难性失败？
• RQ4 DRL在降低血糖风险和低血糖时间方面，与传统控制算法（如PID）相比表现如何？
• RQ5 DRL在多大程度上能适应可预测的进餐时间表？这种适应性如何影响整体性能？

主要发现

• DRL方法将中位血糖风险从8.34降至4.24，相比基线PID控制改善近50%。
• 低血糖总时间从4,610天降至仅6天，减少99.8%，展现出优异的安全性能。
• 在无患者特异性数据的情况下，迁移学习变体（RL-Trans）在40%的轨迹中优于PID；仅经10个周期微调后，其在59.6%的轨迹中超越PID。
• 即使在5个周期后，RL-Trans的灾难性失败率仍低于0.5%；而无迁移的基线（RL-Scratch）在相同条件下失败率超过17%。
• 随着进餐可预测性提高，平均风险额外降低24%，表明DRL能有效利用进食行为的时间模式。
• 采用安全增强奖励函数、真实数据随机性以及随机重启下的模型选择，显著提升了策略稳定性，并减少了最坏情况下的性能问题。