[论文解读] A Reinforcement Learning System to Encourage Physical Activity in Diabetes Patients

Irit Hochberg, Guy Feraru+4 more|arXiv (Cornell University)|May 13, 2016

Diabetes Management and Research参考文献 23被引用 54

一句话总结

本研究提出了一种基于智能手机的强化学习（RL）系统，通过个性化短信消息鼓励2型糖尿病患者增加体力活动。该系统利用实时步数数据和在线强化学习训练，动态调整针对个体行为的消息内容，与静态提醒或对照组相比，显著提高了体力活动水平并改善了HbA1c水平。

ABSTRACT

Regular physical activity is known to be beneficial to people suffering from diabetes type 2. Nevertheless, most such people are sedentary. Smartphones create new possibilities for helping people to adhere to their physical activity goals, through continuous monitoring and communication, coupled with personalized feedback. We provided 27 sedentary diabetes type 2 patients with a smartphone-based pedometer and a personal plan for physical activity. Patients were sent SMS messages to encourage physical activity between once a day and once per week. Messages were personalized through a Reinforcement Learning (RL) algorithm which optimized messages to improve each participant's compliance with the activity regimen. The RL algorithm was compared to a static policy for sending messages and to weekly reminders. Our results show that participants who received messages generated by the RL algorithm increased the amount of activity and pace of walking, while the control group patients did not. Patients assigned to the RL algorithm group experienced a superior reduction in blood glucose levels (HbA1c) compared to control policies, and longer participation caused greater reductions in blood glucose levels. The learning algorithm improved gradually in predicting which messages would lead participants to exercise. Our results suggest that a mobile phone application coupled with a learning algorithm can improve adherence to exercise in diabetic patients. As a learning algorithm is automated, and delivers personalized messages, it could be used in large populations of diabetic patients to improve health and glycemic control. Our results can be expanded to other areas where computer-led health coaching of humans may have a positive impact.

研究动机与目标

• 为解决2型糖尿病患者在已知健康益处的前提下仍普遍存在体力活动依从性低下的问题，他们往往保持久坐不动的生活方式。
• 探索基于智能手机的强化学习系统是否能够通过个性化体力活动反馈提高患者对治疗的依从性。
• 评估强化学习生成的消息相较于静态每周提醒和非个性化策略的有效性。
• 评估该系统在试点研究中对体力活动水平和血糖控制（HbA1c）的影响。
• 证明使用自动化、自适应数字教练在可扩展、个性化健康干预中具有可行性。

提出的方法

• 一款智能手机应用程序通过内置计步功能，实时收集27名患者的每日体力活动数据（步数）。
• 一种在线强化学习算法实时训练，根据患者的先前活动和响应模式，选择最有效的短信消息。
• 强化学习系统采用上下文Bandit框架优化消息选择，通过每次消息发送后的结果（次日活动增加）来学习并改进未来的消息选择。
• 每日发送消息，并根据个体行为进行定制——例如，在缺乏活动后给予鼓励，或在取得进展后给予表扬——依据强化学习策略。
• 将强化学习策略与两种对照策略进行比较：静态每周提醒和非个性化消息策略。
• 纵向收集患者数据，包括HbA1c水平和活动日志，以评估行为和临床结果。

实验结果

研究问题

• RQ1 基于强化学习的个性化短信反馈系统是否能够提高2型糖尿病患者的体力活动水平？
• RQ2 与静态或非个性化消息相比，强化学习生成的自适应消息是否能带来更好的血糖控制（HbA1c降低）？
• RQ3 在强化学习系统中参与时间的长短如何影响临床和行为结果？
• RQ4 与标准每周提醒相比，个性化强化学习消息在患者满意度和感知有用性方面是否存在可测量的差异？
• RQ5 在线、基于策略的强化学习是否能在现实世界的临床行为改变环境中有效学习最优消息策略？

主要发现

• 接受强化学习生成消息的患者，其每日步行时长和步行速度显著高于对照组。
• 与静态每周提醒组和非个性化策略组相比，强化学习组的HbA1c水平下降更为显著。
• 在强化学习系统中参与时间越长，HbA1c水平的下降幅度越大，表明持续参与具有累积效益。
• 强化学习算法随着时间推移，更准确地预测了哪些消息能促使体力活动增加，证明了有效的在线学习能力。
• 患者满意度在强化学习组显著更高，80%的患者表示消息帮助增加了体力活动频率（对照组为0%）。
• 本研究证明，通过强化学习实现的个性化、自适应数字教练在真实世界的小规模试验中，能够有效改善健康行为和临床结果。