[論文レビュー] PAC Reinforcement Learning with Rich Observations

Akshay Krishnamurthy, Alekh Agarwal+1 more|arXiv (Cornell University)|Feb 8, 2016

Advanced Bandit Algorithms Research参考文献 23被引用数 14

ひとこと要約

本論文は、豊富な観測を持つ環境における強化学習のための新しいフレームワークを提案する。このフレームワークは、少数の隠れ状態と予測可能な長期報酬を用いて順序的な意思決定をモデル化する。LSVEE（Explorationを伴う最小二乗価値排除）アルゴリズムを提案し、主要パラメータに多項式依存するが観測空間サイズに依存しないPACサンプル効率性を達成する。これにより、強化学習における関数近似の理論的裏付けが得られる。

ABSTRACT

We propose and study a new model for reinforcement learning with rich observations, generalizing contextual bandits to sequential decision making. These models require an agent to take actions based on observations (features) with the goal of achieving long-term performance competitive with a large set of policies. To avoid barriers to sample-efficient learning associated with large observation spaces and general POMDPs, we focus on problems that can be summarized by a small number of hidden states and have long-term rewards that are predictable by a reactive function class. In this setting, we design and analyze a new reinforcement learning algorithm, Least Squares Value Elimination by Exploration. We prove that the algorithm learns near optimal behavior after a number of episodes that is polynomial in all relevant parameters, logarithmic in the number of policies, and independent of the size of the observation space. Our result provides theoretical justification for reinforcement learning with function approximation.

研究の動機と目的

• 高次元の観測空間を有する強化学習におけるサンプル非効率的探索の課題に対処する。
• 一般のPOMDPにおける扱いが困難なサンプル複雑性を回避する、豊富な観測を持つ強化学習の理論的枠組みを構築する。
• 観測空間サイズに依存しない多項式的サンプル複雑性を達成するPAC学習保証を持つアルゴリズムを設計する。
• 少数の隠れ状態と予測可能な報酬関数を用いることで、強化学習における関数近似の理論的妥当性を提供する。
• 新たな状態同一性テストと価値排除メカニズムを用いて、順序的意思決定タスクにおける効率的かつグローバルな探索を可能にする。

提案手法

• 有限個の隠れ状態からなる層状の決定的遷移を持つ文脈的意思決定過程（Contextual Decision Process）モデルを提案し、各状態は観測-報酬分布に関連付ける。
• 最適Q値関数を含む関数クラスを導入し、将来の報酬の関数近似を可能にする。
• 文脈的バンディットスタイルの学習と、状態同一性テストに基づくグローバル探索戦略を組み合わせたLSVEEアルゴリズムを設計する。
• モンテカルロ推定を用いて価値関数を評価し、DFS-Learnを用いて状態-行動プレフィックスを探索することで、近最適方策への収束を保証する。
• TD-ElimとConsensusを用いた階層的排除プロセスにより、非最適な状態-行動ペアを効率的に同定・除外する。
• Hoeffdingの不等式と集中不等式を用いて反復ごとの失敗確率を制御し、アルゴリズムの各構成要素に失敗確率を適切に割り当てる。

実験結果

リサーチクエスチョン

• RQ1 豊富な観測と大きな観測空間を持つ環境において、PACサンプル効率性を達成する強化学習アルゴリズムを設計できるか？
• RQ2 行動数、時間枠、方策集合サイズに多項式依存するが、観測空間サイズに依存しないサンプル複雑性を達成することは可能か？
• RQ3 環境を少数の隠れ状態に制限し、予測可能な長期報酬を有することで、強化学習における関数近似に理論的根拠を与えることは可能か？
• RQ4 時間枠に指数的依存を避けるが、理論的保証を維持するグローバル探索戦略を設計するにはどうすればよいか？
• RQ5 豊富な観測を持つ順序的意思決定に対して、サンプル効率的な強化学習アルゴリズムを構築するための最小限の仮定は何か？

主な発見

• LSVEEアルゴリズムは、観測空間サイズに依存しないPAC保証を達成し、サンプル複雑性が $\tilde{\mathcal{O}}\left(\frac{MH^{6}K^{2}}{\epsilon^{3}}\log(N/\delta)\log(1/\delta)\right)$ である。
• アルゴリズムは、$K$, $M$, $H$, および $\log(|\Pi|)$ に多項式依存するのみで、高確率で学習方策が $\epsilon$-サブオプティマルであることを保証する。
• モンテカルロ推定、DFS-Learn、状態訪問イベントの各部分に信頼区間を適切に割り当てることで、失敗確率が $\delta$ で抑えられる。
• 状態同一性テストとConsensusメカニズムの活用により、非最適な状態-行動ペアの効率的除外が可能となり、TD-Elimの呼び出し回数が $\mathcal{O}(MH)$ に削減される。
• 解析により、反復間でTD-Elimの結果を再利用することで、アルゴリズムのサンプル複雑性が著しく改善され、重複した学習を回避できることが示された。
• 理論的枠組みにより、最適 $Q^*$ 関数を含む関数クラスに依存するため、強化学習における関数近似の正当化が得られる。