[論文レビュー] Contextual Decision Processes with Low Bellman Rank are PAC-Learnable

Nan Jiang, Akshay Krishnamurthy+3 more|arXiv (Cornell University)|Oct 29, 2016

Neural Networks and Applications被引用数 153

ひとこと要約

本論文は Contextual Decision Processes (CDPs) と低い Bellman rank 条件を導入し、続いて Olive アルゴリズムを PAC 保証とともに提示する。これにより、コンテキスト空間のサイズに依存しない近似最適方策を学習する。

ABSTRACT

This paper studies systematic exploration for reinforcement learning with rich observations and function approximation. We introduce a new model called contextual decision processes, that unifies and generalizes most prior settings. Our first contribution is a complexity measure, the Bellman rank, that we show enables tractable learning of near-optimal behavior in these processes and is naturally small for many well-studied reinforcement learning settings. Our second contribution is a new reinforcement learning algorithm that engages in systematic exploration to learn contextual decision processes with low Bellman rank. Our algorithm provably learns near-optimal behavior with a number of samples that is polynomial in all relevant parameters but independent of the number of unique observations. The approach uses Bellman error minimization with optimistic exploration and provides new insights into efficient exploration for reinforcement learning with function approximation.

研究の動機と目的

• リッチな観測と関数近似を用いた強化学習を統一された CDP フレームワークの下で動機づける。
• CDP における探索可能な構造を捉える複雑さ指標として Bellman rank を定義する。
• Bellman 誤差に基づく除外と楽観的探索を組み合わせた Olive アルゴリズムを提案する。
• PAC 保証を証明する: サンプル複雑度は poly(M, H, K, 1/epsilon, log N, 1/delta) に多項式で、コンテキスト空間のサイズには依存しない。

提案手法

• CDP を、文脈を介して MDPs および POMDPs を包含する一般的な RL モデルとして形式化する。
• Bellman factorization と Bellman rank を導入して exploitable 構造を定量化する。
• CDP 設定の平均 Bellman 誤差と Bellman 方程式を定義する。
• Olive (Optimism Led Iterative Value-function Elimination) を開発し、Bellman 誤差に基づいて有効でない価値関数を反復的に排除する。
• サンプル複雑度が poly(M, H, K, 1/epsilon, log N, 1/delta) で、コンテキスト空間のサイズには依存しないことを示す PAC 保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 リッチな観測を伴う CDP で関数近似を用いてほぼ最適方策を効率的に学べるか？
• RQ2 Bellman rank は多様な強化学習設定における探索の扱いやすさをどう定量化するか？
• RQ3 低 Bellman rank を持つ MDP、POMDP、関連モデルに対して単一のアルゴリズムが PAC 保証を提供できるか？
• RQ4 Bellman 誤差最小化と楽観的探索の組み合わせがサンプル効率性においてどんな役割を果たすか？

主な発見

• 低い Bellman rank を持つCDPは、計算的に tractable でサンプル効率の良い学習を認める。
• Olive は PAC 保証を達成する: ε-部分最適方策を見つけるのに必要な軌跡数は tilde-ODE poly(M, H, K, log(N/δ), 1/ε)。
• サンプル複雑度はコンテキスト空間のサイズに依存しないため、リッチな観測と関数近似の効果的な利用を可能にする。
• Bellman rank フレームワークはタブラ表記の MDP、低ランク MDP、反応的 POMDP、PSR、そして LQR にも適用できる（連続動作に関する注記あり）。
• この手法は Bellman 誤差最小化と楽観的探索を結びつけ、関数近似下での探索に新たな洞察を提供する。