[論文レビュー] Batch Policy Learning in Average Reward Markov Decision Processes

Peng Liao, Zhengling Qi+3 more|arXiv (Cornell University)|Jul 23, 2020

Advanced Bandit Algorithms Research参考文献 27被引用数 15

ひとこと要約

本稿は、無限時間ホライズンのマルコフ決定過程におけるバッチ方策学習において、平均報酬の二重にロバストな推定器を提案し、半パラメトリック効率性を達成するとともに、パrameterized方策クラス内での最適方策探索を可能にした。この手法は有限標本におけるレグレット保証を確保し、シミュレーションおよび実世界のmHealthアプリケーションにおいて、既存のオフラインRLベースラインを上回る性能を示した。

ABSTRACT

We consider the batch (off-line) policy learning problem in the infinite horizon Markov Decision Process. Motivated by mobile health applications, we focus on learning a policy that maximizes the long-term average reward. We propose a doubly robust estimator for the average reward and show that it achieves semiparametric efficiency. Further we develop an optimization algorithm to compute the optimal policy in a parameterized stochastic policy class. The performance of the estimated policy is measured by the difference between the optimal average reward in the policy class and the average reward of the estimated policy and we establish a finite-sample regret guarantee. The performance of the method is illustrated by simulation studies and an analysis of a mobile health study promoting physical activity.

研究の動機と目的

• 長期的な結果が重要なモバイルヘルス文脈において、バッチ（オフライン）データを用いた無限時間ホライズンのマルコフ決定過程における最適方策学習の課題に対処すること。
• 割引報酬の定式化には、割引率が1に近づくと不安定でロバスト性に欠けるという限界があるため、長期的な行動維持の観点からより自然なパフォーマンス指標である平均報酬に注目することで、その課題を克服すること。
• パラメトリック方策クラスにおける信頼性の高い最適化を可能にする、データ効率的で一様に良好な性能を示す平均報酬推定器を開発すること。
• 推定された方策の有限標本におけるレグレットバウンドを確立し、クラス内の最適方策に対する性能の理論的保証を提供すること。
• シミュレーションおよび実世界のモバイルヘルス研究を通じて、本手法の実用的有効性を実証すること（物理活動促進を目的とした研究）。

提案手法

• 弱い正則性条件の下で、半パラメトリック効率性を達成する、結果回帰とプロパティスコア推定を組み合わせた、新しい平均報酬の二重にロバストな推定器を提案する。
• 推定された平均報酬の政策パラメータに関する閉形式の勾配を導出することで、標準的な勾配ベースの最適化手法による効率的な最適化を可能にする。
• 定常分布の正規化制約を扱うためにラグランジュ緩和を用いた、推定された平均報酬の最大化という制約付き最適化問題として方策最適化問題を定式化する。
• パラメトリック方策クラス内での最適方策を計算する方策探索アルゴリズムに、二重にロバストな推定器を統合し、統計的効率性と計算の実行可能性の両方を確保する。
• 2段階の推定手順を採用する：まず、ネイジブ関数（条件付き平均報酬および遷移確率）を推定し、その後それらを二重にロバストな推定器に組み込む。
• 有限標本におけるレグレット解析を適用し、方策クラス内の最適平均報酬と推定された方策の報酬との差をバウンドすることで、性能に関する理論的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 無限時間ホライズンMDPにおける平均報酬の二重にロバストな推定器は、ネイジブ関数の推定誤差に関する正則性条件の下で、半パラメトリック効率性を達成し、方策学習において低レグレットを実現できるか？
• RQ2 限られたバッチデータ下で、本手法はBEAR、BCQ、FQIなどの既存のオフラインRLアルゴリズムと比較して、レグレットおよび平均報酬推定の観点で優れた性能を示すか？
• RQ3 長期的結果が優先されるモバイルヘルスアプリケーションにおいて、本手法は方策性能をどの程度向上させるか？
• RQ4 軌道長さおよび軌道数が、推定方策の有限標本性能に与える影響は何か？
• RQ5 パラメトリック方策クラスに制限することで、低分散かつ高解釈性を維持しつつ、依然として優れた性能を達成できるか？

主な発見

• 提案された平均報酬の二重にロバストな推定器は、ネイジブ関数の推定誤差に関する正則性条件の下で、半パラメトリック効率性を達成する。
• シミュレーション研究において、50本の軌道（長さ48）を用いた場合、本手法のレグレットは0.009（±0.003）であった。これは、BEAR（0.843 ± 0.060）、BCQ（0.652 ± 0.025）、FQI（0.054 ± 0.027）を著しく下回った。
• 最良の設定（n=50, T=48）下で、推定方策の平均報酬は0.914（±0.003）であった。これは、BEAR（0.121 ± 0.046）、BCQ（0.276 ± 0.001）、FQI（0.853 ± 0.023）を上回った。
• 本手法は、さまざまなデータ環境において一貫した性能を示し、軌道長さおよび軌道数が増加するに従い、レグレットが減少した。
• HeartSteps mHealth研究において、本手法は長期的な身体活動を最大化する方策を効果的に同定し、実世界のモバイルヘルスアプリケーションにおける実用的有効性を検証した。
• 有限標本におけるレグレットバウンドにより、限られたデータ下でも推定方策の性能が、クラス内の最適方策に近いことが保証された。