[論文レビュー] Statistical Inference of the Value Function for Reinforcement Learning in Infinite Horizon Settings

Chengchun Shi, Shengxing Zhang+2 more|arXiv (Cornell University)|Jan 13, 2020

Reinforcement Learning in Robotics参考文献 52被引用数 18

ひとこと要約

本稿では、無限時horizon強化学習設定における方策の価値関数の有効な信頼区間（CI）を構築するための新規手法、逐次価値評価（SAVE）を提案する。行動価値関数（Q関数）を増加する基底関数を有する級数／シーブ法でモデル化することで、方策がデータに依存する場合でも、片側漸近的（増加する軌道数または意思決定点）に漸近的に有効なCIを達成し、最適方策が一意でない場合でも名目上の被覆確率を維持する。

ABSTRACT

Reinforcement learning is a general technique that allows an agent to learn an optimal policy and interact with an environment in sequential decision making problems. The goodness of a policy is measured by its value function starting from some initial state. The focus of this paper is to construct confidence intervals (CIs) for a policy's value in infinite horizon settings where the number of decision points diverges to infinity. We propose to model the action-value state function (Q-function) associated with a policy based on series/sieve method to derive its confidence interval. When the target policy depends on the observed data as well, we propose a SequentiAl Value Evaluation (SAVE) method to recursively update the estimated policy and its value estimator. As long as either the number of trajectories or the number of decision points diverges to infinity, we show that the proposed CI achieves nominal coverage even in cases where the optimal policy is not unique. Simulation studies are conducted to back up our theoretical findings. We apply the proposed method to a dataset from mobile health studies and find that reinforcement learning algorithms could help improve patient's health status. A Python implementation of the proposed procedure is available at https://github.com/shengzhang37/SAVE.

研究の動機と目的

• 無限時horizon強化学習設定における方策価値関数の統計的推論手法の欠如に対処すること。
• 方策がデータから推定される場合でも、その価値の信頼区間（CI）を名目上の被覆確率を維持するように構築すること。
• 実用的応用で一般的な最適方策の一意性の欠如に対しても、有効な推論を保証すること。
• 限られた軌道数だが発散する意思決定点数を伴う状況に強い手法を開発すること。これは、モバイルヘルスや縦断的研究で一般的である。
• 学習済み方策の影響を現実世界への導入前に理論的根拠に基づき実用的に評価するフレームワークを提供すること。

提案手法

• 合計観測数に応じて増加する$L$個の基底関数を有する級数／シーブ法を用いて行動価値関数（Q関数）をモデル化し、$L$は観測数に従って増加する。
• SAVE法では、逐次的推定戦略を適用し、新規データの到着に応じて方策とその価値推定器を再帰的に更新する。
• シーブ法を用いてQ関数を非パラメトリックに推定することで、複雑な価値関数の柔軟な近似が可能になる。
• 弱い正則性条件の下で推定Q関数の漸近的分布を逆算することで、方策価値の信頼区間を導出する。
• 片側漸近的条件下（軌道数または意思決定点数の両方が無限大に発散）で、価値推定器の漸近正規性を確立する。
• 適切な正則性条件の下で、方策と価値関数の推定誤差が制御されることを保証することで、データに依存する方策を扱う。

実験結果

リサーチクエスチョン

• RQ1 方策がデータから推定される場合でも、無限時horizon強化学習設定における方策価値関数の有効な信頼区間を構築できるか？
• RQ2 最適方策が一意でない場合でも、提案手法が信頼区間の名目上の被覆確率を維持するか？
• RQ3 モバイルヘルス応用で一般的な、限られた軌道数だが多数の意思決定点を伴う状況では、この手法はどのように性能を発揮するか？
• RQ4 弱い正則性条件と発散する基底関数次元の下で、シーブベースのQ関数推定が有効な推論を提供できるか？
• RQ5 価値推定器の収束速度は何か？また、軌道数と意思決定点数にどのように依存するか？

主な発見

• 提案手法の信頼区間は、最適方策が一意でない場合でも、片側漸近的条件下で名目上の被覆確率を達成する。
• 軌道数または意思決定点数のいずれかが無限大に発散する場合でも、有効な推論を維持する。
• 価値関数の推定誤差は、$O_p(|\mathcal{I}|^{-2b_*/(2+\alpha)})$ の速度で収束する。ここで、$\mathcal{I}$ はデータをインデックスし、$b_*$ と $\alpha$ は滑らかさパラメータである。
• シーブベースのQ関数推定により、基底関数の数が標本サイズに従って増加する際、真のQ関数への一貫した近似が保証される。
• 理論的結果から、提案条件の下で方策推定のバイアスが消滅することが示され、有効な推論が可能になる。
• シミュレーション研究により理論的結果が確認され、さまざまなデータ生成メカニズム下でも正確な被覆と頑健性が示された。