[論文レビュー] A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward

Susan A. Murphy, Yanzhen Deng+4 more|arXiv (Cornell University)|Jul 18, 2016

Advanced Bandit Algorithms Research参考文献 23被引用数 17

ひとこと要約

本稿では、マルコフ決定過程における平均報酬を最大化する最適な確率的治療方針を学習するためのバッチ処理・オフポリシーのアクタ・クリティック手法を提案する。特にモバイルヘルス応用を想定している。本手法は複数の個人から得られたオフポリシーのデータを用い、基底関数を用いて微分価値関数を推定し、ポリシー勾配法を用いてパラメトリックなポリシーを最適化することで、実世界の喫煙・飲酒減少研究において改善された治療の提供を達成した。

ABSTRACT

We develop an off-policy actor-critic algorithm for learning an optimal policy from a training set composed of data from multiple individuals. This algorithm is developed with a view towards its use in mobile health.

研究の動機と目的

• 複数の個人にわたる集計的かつ多様なデータから、最適な治療方針を学習するためのオフポリシー・バッチ・アクタ・クリティック手法の開発。
• 長期的な平均報酬を最大化するポリシーを学習することで、モバイルヘルスにおけるパーソナライズドで動的な介入を可能にする。
• ユーザーのばらつきと治療負担を考慮した確率的ポリシーを学習することで、行動ヘルス分野における実用的導入を支援する。
• 低次元のパラメトリックポリシーと解釈可能な特徴量を用いることで、ドメインエキスパートとの統合を促進する。
• オンライン相互作用を必要とせず、観測データからポリシーを学習するスケーラブルで頑健な手法を提供する。

提案手法

• アルゴリズムはバッチ設定で動作し、行動ポリシーに従って収集された軌道データセットから学習する。オンライン相互作用は不要である。
• クリティック部は、定数を除いてベルマン方程式を基底関数近似を用いて解くことで、微分価値関数 $ V^\pi(s) $ を推定する。
• アクター部は、特徴量ベクトル $ \phi(s) $ の上にロジスティックリンク関数を用いて、確率的ポリシー $ \pi_\theta(a|s) $ をパラメータ化し、パラメータ $ \theta $ を持つ。
• ポリシーのパラメータは、重要度サンプリングを用いてオフポリシーのデータを活用し、平均報酬 $ \eta^\pi $ を最大化するポリシー勾配法により更新される。
• 微分価値関数は、非線形な状態依存性を捉えるためにMARS（多変量適応的回帰スプライン）基底関数を用いて近似される。
• アルゴリズムは、複数の個人から得られた独立した軌道データセットに対して、一連のバッチ更新を繰り返し実行することで学習される。各個人は固定された行動ポリシーに従ってMDPに従っている。

実験結果

リサーチクエスチョン

• RQ1 オフポリシーでバッチ処理されるアクタ・クリティック手法は、複数の個人から収集された観測データから、平均報酬を最大化する治療方針を効果的に学習できるか？
• RQ2 このような手法は、複雑で時間的に変化する状態特徴を持つ実世界のモバイルヘルスデータにどの程度一般化できるか？
• RQ3 自己制御の負担と治療負担の代理変数を組み込むことで、タイムリーな適応的介入（JITI）の性能と受容性が向上するか？
• RQ4 価値関数近似のノイズに対して、このアルゴリズムはどの程度頑健であるか？
• RQ5 得られたポリシーは、行動ヘルス分野のドメインエキスパートによって解釈可能で検証可能か？

主な発見

• 自己制御の負担が増加せず、治療負担がない学生に対しては、治療の推薦確率が75%に達し、高い反応性を示している。
• 自己制御の負担と治療負担が増加する学生に対しては、治療の推薦確率が51%に低下し、受容性の低下が反映されている。
• アルゴリズムは治療提供において95%の準拠基準を達成し、利用可能な時間点で治療確率が0.05〜0.95の範囲内に収まる割合が95%に達した。
• 価値関数近似のノイズに対してアルゴリズムが頑健であることが示され、自動的な基底関数選択の可能性を示唆している。
• ポリシー係数は解釈可能であり、deltacontrol（−0.42）に負の重み、burden（0.63）に正の重みが与えられており、行動理論と整合している。
• 本手法は実際のスマートフォン研究データからポリシーを効果的に学習し、パーソナライズドで適応的な介入によって、過度な飲酒や喫煙の減少に有望な結果を示した。