[論文レビュー] On the Sample Complexity of Reinforcement Learning with a Generative Model

Mohammad Gheshlaghi Azar, Rémi Munos+1 more|arXiv (Cornell University)|Jun 27, 2012

Reinforcement Learning in Robotics参考文献 19被引用数 41

ひとこと要約

この論文は、割引マルコフ決定過程における生成モデルを用いた強化学習のための最初のタイトなサンプル複雑度の上限を確立している。モデルベースの価値反復が、確率 1−δ で ε-最適性を達成するために O(N log(N/δ)/((1−γ)^3ε²)) のサンプルを必要とすることを証明し、これと一致する下界を提示することで、N、ε、δ、および 1/(1−γ) の観点からこのレートが最適であることを示している。

ABSTRACT

We consider the problem of learning the optimal action-value function in the discounted-reward Markov decision processes (MDPs). We prove a new PAC bound on the sample-complexity of model-based value iteration algorithm in the presence of the generative model, which indicates that for an MDP with N state-action pairs and the discount factor γ\in[0,1) only O(N\log(N/δ)/((1-γ)^3ε^2)) samples are required to find an ε-optimal estimation of the action-value function with the probability 1-δ. We also prove a matching lower bound of Θ(N\log(N/δ)/((1-γ)^3ε^2)) on the sample complexity of estimating the optimal action-value function by every RL algorithm. To the best of our knowledge, this is the first matching result on the sample complexity of estimating the optimal (action-) value function in which the upper bound matches the lower bound of RL in terms of N, ε, δand 1/(1-γ). Also, both our lower bound and our upper bound significantly improve on the state-of-the-art in terms of 1/(1-γ).

研究の動機と目的

• 生成モデルが利用可能な状況における強化学習のサンプル複雑度に対するタイトな理論的境界を確立すること。
• 最適行動価値関数を学習する際のサンプル効率の観点から、モデルベースの価値反復の性能を分析すること。
• 生成モデルの仮定の下で、既存の上界と下界の間のギャップを埋めること。
• サンプル複雑度における 1/(1−γ) への依存が最適であることを示し、先行研究を著しく改善すること。
• N、ε、δ、および 1/(1−γ) の観点で一致する上界と下界を提示し、この設定におけるサンプル複雑度の最初のタイトな特徴付けを確立すること。

提案手法

• 遷移と報酬が確率的シミュレータからサンプリング可能な生成モデルの下で、モデルベースの価値反復アルゴリズムを分析する。
• 集中不等式を用いて、価値関数推定誤差の新しいPACスタイルの一般化境界を導出する。
• N 個の状態行動ペア全体にわたる一様収束の議論を適用し、経験的Q値と真のQ値との乖離を制限する。
• サンプル複雑度の下界を示すために、難易度の高いMDPインスタンスを構築する。これにより、いかなる強化学習アルゴリズムでも Ω(N log(N/δ)/((1−γ)^3ε²)) よりも良いサンプル複雑度を達成できないことが示される。
• ミニマックスの議論と情報理論的技術を用いて下界を導出し、上界とすべてのパrameterで一致させる。
• サンプル複雑度における 1/(1−γ) への依存がタイトであることを確立し、従来の研究で緩い依存関係であったものを改善する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルを備えたMDPにおいて、最適行動価値関数を学習するための最適なサンプル複雑度は何か？
• RQ2 モデルベースの価値反復のサンプル複雑度に対する上界が、すべての関連パラメータにおいて下界と一致するか？
• RQ3 割引因子 γ への依存がサンプル複雑度に与える影響は何か？ そして、その依存はタイトか？
• RQ4 提案された上界は、1/(1−γ) 要因に関して、最先端の結果を改善しているか？
• RQ5 生成モデルの仮定の下で、モデルベースの価値反復のサンプル複雑度は、すべての強化学習アルゴリズムにおいて最適か？

主な発見

• モデルベースの価値反復アルゴリズムは、確率 1−δ で ε-最適な行動価値関数を達成するために O(N log(N/δ)/((1−γ)^3ε²)) のサンプルを必要とする。
• 一致する下界 Ω(N log(N/δ)/((1−γ)^3ε²)) が証明され、N、ε、δ、および 1/(1−γ) の観点から、いかなる強化学習アルゴリズムでもこれより良いサンプル複雑度を達成できないことが示された。
• 従来の研究で不十分であった 1/(1−γ) への依存をタイトにすることで、上界が著しく改善されている。
• これは、生成モデル設定における最適（行動）価値関数の推定のサンプル複雑度に対して、一致する上界と下界を達成した最初の研究である。
• サンプル複雑度が、状態行動ペair数 N、信頼水準 δ、精度 ε、および割引因子 γ によって本質的に制限されることを示している。
• 分析により、1/(1−γ)^3 のスケーリングが避けられず、最適であることが確認され、長年の未解決であった生成モデルを用いた強化学習におけるサンプル複雑度の根本的問題が解決された。