[論文レビュー] Group-driven Reinforcement Learning for Personalized mHealth Intervention

Feiyun Zhu, Jun Guo+3 more|arXiv (Cornell University)|Aug 14, 2017

Mobile Health and mHealth Applications参考文献 18被引用数 5

ひとこと要約

本稿では、行動的類似性に基づいてユーザーをクラスタリングし、各グループ内で共有ポリシーを学習する、個人化されたmHealth介入のためのグループ駆動型強化学習（RL）フレームワークを提案する。類似ユーザー間でのデータ共有と十分な個別学習の両立により、長期間平均報酬が顕著に向上し、最先端手法と比較して最大82.4ステップの改善を達成した。特にユーザーのデータが限られた状況で顕著な効果を示した。

ABSTRACT

Due to the popularity of smartphones and wearable devices nowadays, mobile health (mHealth) technologies are promising to bring positive and wide impacts on people's health. State-of-the-art decision-making methods for mHealth rely on some ideal assumptions. Those methods either assume that the users are completely homogenous or completely heterogeneous. However, in reality, a user might be similar with some, but not all, users. In this paper, we propose a novel group-driven reinforcement learning method for the mHealth. We aim to understand how to share information among similar users to better convert the limited user information into sharper learned RL policies. Specifically, we employ the K-means clustering method to group users based on their trajectory information similarity and learn a shared RL policy for each group. Extensive experiment results have shown that our method can achieve clear gains over the state-of-the-art RL methods for mHealth.

研究の動機と目的

• 完全なユーザー同一性または完全な非同一性を仮定する既存のmHealth RL手法の限界を解決すること。
• ユーザーが一部の他者とは類似しているが、すべての他者とは類似しないというより現実的な枠組みを構築すること。
• データ複雑性の低減と各学習グループあたりのサンプルサイズの増強のトレードオフをバランスすること。
• mHealthアプリケーションで一般的なデータが少ない状況におけるポリシーの安定性とパフォーマンスを向上させること。
• クラスタリングに基づくポリシー学習における誤ったグループ数推定に対するロバストネスを示すこと。

提案手法

• ユーザーの行動軌道データの類似性に基づいてK-meansクラスタリングを適用し、ユーザーをグループ化する。
• 各クラスタ内に存在する全データを用いて、共有のディープQネットワークポリシーを学習する。
• 価値関数推定に線形関数近似を用いたアクトルクリティックRLフレームワークを採用：$ Q_{\mathbf{w}} = \mathbf{w}^T \mathbf{x}(s,a) $。
• 期待報酬最適化のため、基準状態分布 $ d_{\text{ref}}(s) $ とポリシーのパrameterization $ \pi_\theta(a|s) $ を用いる。
• 目的関数 $ \widehat{J}(\theta) = \sum_s d_{\text{ref}}(s) \sum_a \pi_\theta(a|s) Q^{\pi_\theta}(s,a) $ に基づき、確率的勾配上昇法でポリシーを訓練する。
• 50名のユーザーを5つのグループに分け、軌道長さを変化させた合成データ（T=42, T=100）を用い、K=3およびK=7のクラスタ数でテストすることでロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 行動的類似性に基づくユーザークラスタリングは、同一性モデルや完全に独立したモデルと比較して、RLベースのmHealth介入のパフォーマンスを向上させるか？
• RQ2 真のユーザーグループ数が不明または誤って推定された場合、提案手法のグループ駆動型RLはどのように性能を示すか？
• RQ3 個別ユーザーのデータが限られた短い軌道条件下でも、本手法はパフォーマンスの向上を維持できるか？
• RQ4 クラスタ数（K）の選択がポリシー性能とロバストネスに与える影響は何か？
• RQ5 グループベースの知識共有は、mHealth応用においてどの程度ポリシーの分散を低減し、長期報酬を向上させるか？

主な発見

• 短い軌道（T=42）の場合、提案手法であるグループ駆動型RL（Gr-RL）は、最良のベースライン（Separ-RL）と比較して、長期平均報酬（ElrAR）で平均82.4ステップの改善を達成した。
• より長い軌道（T=100）の場合でも、Gr-RLは最先端手法をElrARで49.8～51.7ステップ上回り、一貫した向上効果を示した。
• K=3およびK=7のクラスタ数において、Gr-RLは類似した性能を示し、トップクラスの手法として一貫して優れた結果を出した。これは、グループ数の誤推定に対してもロバストであることを示している。
• 軌道長さが延びるにつれて、本手法のパフォーマンス向上が減少した。これは、データが豊富な状況ではグループベース学習の相対的利点が低下することを示している。
• 短い軌道ではK=3などの小さなK値が、データの豊富化を重視してより効果的であった。一方、長い軌道ではK=7などの大きなK値が、グループあたりのデータを単純化する点で優れていた。