[論文レビュー] A Reinforcement Learning System to Encourage Physical Activity in Diabetes Patients

Irit Hochberg, Guy Feraru+4 more|arXiv (Cornell University)|May 13, 2016

Diabetes Management and Research参考文献 23被引用数 54

ひとこと要約

本研究では、2型糖尿病患者の運動行動を促進するために、スマートフォンベースの強化学習（RL）システムを提案する。リアルタイムでの歩数データ収集とオンラインRL訓練を活用し、個々の行動に応じて動的にメッセージをカスタマイズする。その結果、静的リマインダーまたはコントロール群と比較して、有意に運動量が増加し、HbA1c値も改善された。

ABSTRACT

Regular physical activity is known to be beneficial to people suffering from diabetes type 2. Nevertheless, most such people are sedentary. Smartphones create new possibilities for helping people to adhere to their physical activity goals, through continuous monitoring and communication, coupled with personalized feedback. We provided 27 sedentary diabetes type 2 patients with a smartphone-based pedometer and a personal plan for physical activity. Patients were sent SMS messages to encourage physical activity between once a day and once per week. Messages were personalized through a Reinforcement Learning (RL) algorithm which optimized messages to improve each participant's compliance with the activity regimen. The RL algorithm was compared to a static policy for sending messages and to weekly reminders. Our results show that participants who received messages generated by the RL algorithm increased the amount of activity and pace of walking, while the control group patients did not. Patients assigned to the RL algorithm group experienced a superior reduction in blood glucose levels (HbA1c) compared to control policies, and longer participation caused greater reductions in blood glucose levels. The learning algorithm improved gradually in predicting which messages would lead participants to exercise. Our results suggest that a mobile phone application coupled with a learning algorithm can improve adherence to exercise in diabetic patients. As a learning algorithm is automated, and delivers personalized messages, it could be used in large populations of diabetic patients to improve health and glycemic control. Our results can be expanded to other areas where computer-led health coaching of humans may have a positive impact.

研究の動機と目的

• 2型糖尿病患者の運動行動推奨に従わない低率の問題に取り組む。これは、健康上の利点が明らかでも、多くの患者が依然として運動不足であるためである。
• スマートフォンベースのシステムを用いた強化学習が、個別化された運動行動フィードバックへの患者の順応性を向上させられるかを検討すること。
• 強化学習で生成されたメッセージの有効性を、静的週次リマインダーおよび非個別化ポリシーと比較して評価すること。
• パイロット研究において、本システムが運動量および血糖制御（HbA1c）に与える影響を評価すること。
• スケーラブルで個別化された健康介入を実現するため、自動的かつ適応型のデジタルコーチングの実現可能性を示すこと。

提案手法

• スマートフォンアプリが、内蔵のペデオメータ機能を用いて、27名の患者から毎日の運動データ（歩数）をリアルタイムで収集した。
• オンライン強化学習アルゴリズムが、患者の過去の行動および反応パターンに基づき、各患者に最も効果的なSMSメッセージを選択するようにリアルタイムで訓練された。
• RLシステムは、文脈的バンディットフレームワークを用い、各メッセージの結果（翌日の運動量増加）から学習し、将来のメッセージ選択を最適化した。
• メッセージは毎日送信され、個々の行動に応じてカスタマイズされたものであった。たとえば、不活発の後には励ましのメッセージ、進捗がある場合は称賛のメッセージがRLポリシーに従って送信された。
• RLポリシーは、静的週次リマインダーと非個別化メッセージポリシーという2つのコントロールポリシーと比較された。
• 患者のデータ、HbA1c値、活動ログは縦断的に収集され、行動的および臨床的アウトカムの評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いた個別化されたSMSフィードバックが、2型糖尿病患者の運動量を向上させることができるか？
• RQ2 強化学習で生成された適応型メッセージは、静的または非個別化メッセージよりも良好な血糖制御（HbA1c低下）をもたらすか？
• RQ3 RLシステムへの参加期間が、臨床的および行動的アウトカムに与える影響は何か？
• RQ4 個別化されたRLメッセージと標準的な週次リマインダーの間で、患者満足度および有用性の測定可能な差異は存在するか？
• RQ5 オンライン・オンポリシー強化学習は、現実世界の臨床的行動変容環境において、最適なメッセージ戦略を効果的に学習できるか？

主な発見

• RLが生成したメッセージを受け取った患者は、コントロール群と比較して、有意に歩行時間と歩行速度が増加した。
• RL群は、静的週次リマインダー群および非個別化ポリシー群と比較して、HbA1c値のより優れた低下を示した。
• RLシステムへの参加期間が長いほどHbA1c値の低下が顕著になり、継続的な関与による蓄積的効果が示された。
• RLアルゴリズムは、運動量増加に寄与するメッセージを予測する能力を時間経過とともに向上させ、効果的なオンライン学習が実現した。
• 患者満足度はRL群で有意に高く、80％の患者がメッセージのおかげで運動頻度が増加したと報告した（コントロール群では0％）。
• 本研究では、強化学習を用いた個別化・適応型デジタルコーチングが、現実世界の小規模な試験において、健康行動および臨床的アウトカムの改善に有効であることを示した。