[論文レビュー] Rapidly Personalizing Mobile Health Treatment Policies with Limited Data

Sabina Tomkins, Peng Liao+3 more|arXiv (Cornell University)|Feb 23, 2020

Mobile Health and mHealth Applications参考文献 33被引用数 4

ひとこと要約

本論文は、限られたノイズの多いデータにおけるモバイルヘルス（mHealth）設定でのパーソナライゼーションを高速化するために、階層ベイジアンガウス過程モデルを用いてユーザー間でデータを動的にプールする、Thompson Samplingに基づく強化学習アルゴリズムであるIntelligentPoolingを紹介する。シミュレーションでは最先端手法と比較して26%低いレグレットを達成し、最小限のユーザーデータで実臨床試験において実用的なパーソナライゼーションを示した。

ABSTRACT

In mobile health (mHealth), reinforcement learning algorithms that adapt to one's context without learning personalized policies might fail to distinguish between the needs of individuals. Yet the high amount of noise due to the in situ delivery of mHealth interventions can cripple the ability of an algorithm to learn when given access to only a single user's data, making personalization challenging. We present IntelligentPooling, which learns personalized policies via an adaptive, principled use of other users' data. We show that IntelligentPooling achieves an average of 26% lower regret than state-of-the-art across all generative models. Additionally, we inspect the behavior of this approach in a live clinical trial, demonstrating its ability to learn from even a small group of users.

研究の動機と目的

• ユーザーごとのデータが乏しくノイズが多い状況下で、効果的なパーソナライズド治療方針を学習する課題に対処すること。
• mHealthの強化学習において、パーソナライゼーション（高い分散）とプール（潜在的なバイアス）のトレードオフをバランスすること。
• 観察されたユーザー間およびユーザー内での治療効果分散に基づき、パーソナライゼーションの度合いを動的に調整する手法を開発すること。
• 本手法を、実mHealthデータから導出されたシミュレーション環境および実臨床試験の両方で検証すること。

提案手法

• IntelligentPoolingは、集団レベルおよび個別レベルのランダム効果を組み込んだ混合効果ガウス過程（GP）モデルを用い、ユーザー全体の治療効果を統合的にモデル化する。
• アルゴリズムは、階層的事前分布のハイパーパrameterを更新するための経験的ベイズを採用し、観察データに応じて進化する適応的プールを実現する。
• Thompson Samplingを用いてアクションを選択し、GPモデルからの事後分布サンプルが文脈特徴に基づく治療意思決定を指す。
• モデルは、個別化されたポリシー学習を可能にするために、インターセプトおよび治療効果項にユーザー固有のランダム効果を含む。
• 活動レベル、場所、関与度、投与量などの特徴が、治療意思決定を支援する文脈として使用される。
• 本手法は、各意思決定時点までに入手可能な全データ（過去および同時のユーザーのデータを含む）を学習に活用し、リアルタイムでの適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 個別データが乏しくノイズが多い状況下でも、強化学習アルゴリズムがmHealthにおいてより速く正確にパーソナライズを達成できるか？
• RQ2 複数ユーザーのデータを、学習速度を向上させつつパーソナライズ精度を損なわずに、原則的かつ整合的にプールできるか？
• RQ3 観察された治療効果の分散に応じて、アルゴリズムがユーザー間およびユーザー内でのパーソナライズ度合いをどれほど適応的に調整できるか？
• RQ4 本手法は、完全にパーソナライズされたモデルと完全にプールされたベースラインの両方を上回る、レグレットおよびポリシー品質を達成できるか？
• RQ5 最小限のユーザーデータで、実世界のライブ臨床試験環境において、本アルゴリズムは実用的かつ効果的か？

主な発見

• シミュレーションにおいて、すべての生成モデルで最先端手法と比較して平均26%低いレグレットを達成した。
• 時間経過とともにより強いパーソナライゼーションを示した。IntelligentPoolingとプールドベースラインとの間で治療確率の差が拡大し、ピアソン相関係数r = .56（p < .1）を示した。
• ユーザーBの治療効果係数の事後平均は正の効果を示したが、ユーザーAでは利益の証拠は認められず、効果的なパーソナライゼーションが実現した。
• 個人特化モデルと比較して、IntelligentPoolingの事後分布が事前分布からより速く発散したため、学習速度が著しく速かった。
• ライブ臨床試験では、少数のユーザーしか使用しなかったが、個別ユーザーの反応に適応でき、実用的可行性を示した。
• 観察された治療効果の分散に基づき、データ共有の度合いを調整することで、パーソナライゼーションとプールのバランスを効果的にとった。