[論文レビュー] Personalized HeartSteps: A Reinforcement Learning Algorithm for Optimizing Physical Activity

Peng Liao, Kristjan Greenewald+2 more|arXiv (Cornell University)|Sep 8, 2019

Advanced Bandit Algorithms Research参考文献 43被引用数 23

ひとこと要約

本論文は、モバイル通知を通じて文脈に応じた活動提案をリアルタイムで提供するかどうかを動的に意思決定することで、身体活動のための即時適応的介入（JITAI）を最適化する、パーソナライズド強化学習（RL）アルゴリズム、HeartSteps V2を提示する。アルゴリズムは、探索と活用のバランスを取るために遅延効果プロキシを用いたトンプソンサンプリングを採用し、合成データおよびパイロットデータにおいてベースライン手法よりも優れた長期的身体活動の結果を達成した。

ABSTRACT

With the recent evolution of mobile health technologies, health scientists are increasingly interested in developing just-in-time adaptive interventions (JITAIs), typically delivered via notification on mobile device and designed to help the user prevent negative health outcomes and promote the adoption and maintenance of healthy behaviors. A JITAI involves a sequence of decision rules (i.e., treatment policy) that takes the user's current context as input and specifies whether and what type of an intervention should be provided at the moment. In this paper, we develop a Reinforcement Learning (RL) algorithm that continuously learns and improves the treatment policy embedded in the JITAI as the data is being collected from the user. This work is motivated by our collaboration on designing the RL algorithm in HeartSteps V2 based on data from HeartSteps V1. HeartSteps is a physical activity mobile health application. The RL algorithm developed in this paper is being used in HeartSteps V2 to decide, five times per day, whether to deliver a context-tailored activity suggestion.

研究の動機と目的

• モバイルヘルスにおける即時適応的介入（JITAI）のための治療方針を継続的に学習・最適化する強化学習アルゴリズムを開発すること。
• リアルタイムでのユーザーの文脈に基づき、文脈に応じた提案を提供するかどうかを動的に意思決定することで、HeartSteps V2における身体活動介入をパーソナライズすること。
• モバイルヘルスにおける遅延効果の課題に対処するため、介入負担と反応性を追跡するプロキシ変数を組み込むこと。
• HeartSteps V1から生成された合成データと、進行中のHeartSteps V2試験からのパイロットデータを用いて、アルゴリズムの性能を評価すること。
• リアルタイムでの探索（証拠収集）と活用（効果的な介入の提供）のバランスを取ることで、長期的な介入効果を向上させること。

提案手法

• アルゴリズムは、時間帯、場所、現在の活動などのユーザーの文脈の特徴を用いて、近い将来の身体活動に対する活動提案の治療効果を推定するベイジアン非パラメトリックモデルを採用する。
• 探索と活用のバランスを取るためにトンプソンサンプリングを適用し、提案の提供確率は治療効果の後方分布推定に基づいて更新される。
• 遅延効果プロキシが導入され、過去の提案の累積的負担を捉え、効果が遅延する場合に過剰な介入を避けるのを支援する。
• 合成評価のためのRL方針の生成モデルを構築するために、HeartSteps V1のデータを用いて事前分布を特定し、生成モデルを構築する。
• アルゴリズムはHeartSteps V2臨床試験中にリアルタイムでデプロイされ、現在の文脈と学習済み方針に基づき、1日5回の意思決定がなされる。
• 治療効果の後方平均推定値は逐次更新され、ランダム化確率は推定された有効性と遅延反応のプロキシの両方を基に調整される。

実験結果

リサーチクエスチョン

• RQ1 モバイルヘルスデータを用いて、リアルタイムで身体活動介入のパーソナライズド治療方針を学習・最適化する強化学習アルゴリズムは、効果的に機能するか？
• RQ2 遅延治療効果のプロキシを組み込むことで、即時適応的介入の性能と安全性はどのように向上するか？
• RQ3 本手法の強化学習アルゴリズムは、遅延効果プロキシを含まないトンプソンサンプリングなどのベースライン手法と比較して、相対的にどの程度の性能を示すか？
• RQ4 個々のユーザーの介入に対する感受性の違いは、アルゴリズムの学習ダイナミクスとランダム化確率にどのように影響するか？
• RQ5 アルゴリズムは、時間経過による効果の低下といったユーザー感受性の変化に素早く適応できるか、離脱を防ぐことができるか？

主な発見

• 提案されたRLアルゴリズムは、HeartSteps V1データに基づく合成実験において、ベースラインのトンプソンサンプリング手法を上回り、長期的身体活動の結果が改善された。
• HeartSteps V2のパイロットデータでは、参加者ID=4は提案後、歩数に変化がなく、無効性の証拠があるにもかかわらず、アルゴリズムは確率0.2〜0.4で継続的にランダム化を実行していた。これは、信号検出の改善が求められることを示唆している。
• 非常に感受性の高い参加者ID=7は、時間経過とともに感受性が低下したが、アルゴリズムのランダム化確率は遅延を経てしか顕著に低下せず、プロキシ機構が急激な変化に十分に反応できていないことを示している。
• パイロットデータにおいて、遅延反応が存在する場合に介入頻度が有意に低下したことが確認され、実際の確率とプロキシ補正済み確率の間に明確なギャップが観察された。
• アルゴリズムの性能は、遅延効果のプロキシの質に敏感であり、パイロットデータからの教訓を基に、反応性の向上と過剰使用の低減を目的としたアルゴリズムの見直しが行われた。
• 今後の課題として、類似ユーザー間で情報を統合して学習を加速する方法と、より良いリアルタイム適応のための負担および関与度の指標を洗練する必要がある。