[論文レビュー] Sample-Efficient Reinforcement Learning of Undercomplete POMDPs

Chi Jin, Sham M. Kakade+2 more|arXiv (Cornell University)|Jun 22, 2020

Blind Source Separation Techniques参考文献 14被引用数 7

ひとこと要約

本稿では、観測数が隠れ状態数を上回る「アンダーコンプリートな部分的可観測マルコフ決定過程（POMDP）」における、サンプル効率の良い強化学習アルゴリズムである OOM-UCB を提示する。このアルゴリズムは、$\varepsilon$-最適方策を求めるために、最適な $\tilde{\mathcal{O}}(1/\varepsilon^2)$ のサンプル複雑性を達成する。探索のための楽観主義と、テンソル分解を用いた観測可能演算子推定を組み合わせることで、部分的可観測性下でも証明可能な効率的学習を実現する。

ABSTRACT

Partial observability is a common challenge in many reinforcement learning applications, which requires an agent to maintain memory, infer latent states, and integrate this past information into exploration. This challenge leads to a number of computational and statistical hardness results for learning general Partially Observable Markov Decision Processes (POMDPs). This work shows that these hardness barriers do not preclude efficient reinforcement learning for rich and interesting subclasses of POMDPs. In particular, we present a sample-efficient algorithm, OOM-UCB, for episodic finite undercomplete POMDPs, where the number of observations is larger than the number of latent states and where exploration is essential for learning, thus distinguishing our results from prior works. OOM-UCB achieves an optimal sample complexity of $ ilde{\mathcal{O}}(1/\varepsilon^2)$ for finding an $\varepsilon$-optimal policy, along with being polynomial in all other relevant quantities. As an interesting special case, we also provide a computationally and statistically efficient algorithm for POMDPs with deterministic state transitions.

研究の動機と目的

• 完全な状態情報が得られない部分的可観測環境におけるサンプル効率の良い強化学習の課題に取り組む。
• 一般 POMDP における統計的・計算的難易度の壁を乗り越えるために、観測数が隠れ状態数を上回る「アンダーコンプリート POMDP」という構造的クラスに焦点を当てる。
• 統計的効率性と戦略的探索を同時に満たすアルゴリズムの開発を目的とし、POMDP における情報取得に不可欠である。
• 決定的状態遷移を示す POMDP の特殊ケースに対して、計算的に効率的なアルゴリズムを設計し、先行研究に比べて効率性とモデルパラメータ依存性の両面で改善を図る。

提案手法

• 不確実性に対する楽観主義（UCB）の原則に基づく OOM-UCB を導入し、アンダーコンプリート POMDP における探索を誘導する。
• アンダーコンプリート仮定の下で、モーメント法を用いて、トレースから観測可能演算子（OPE）をテンソル分解技術を用いて推定する。
• 推定された演算子を用いて信念状態と方策評価を構築し、完全なモデル同定なしに効率的な方策学習を可能にする。
• 成功確率を強化するためのブースティング手順を適用し、複数回アルゴリズムを実行し、高い信頼性で最高性能の方策を選択する。
• 決定的ダイナミクスの場合、発射分布間の $\ell_2$ 距離に依存する、より優れたサンプル複雑性を達成する特殊なアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 一般 POMDP における統計的・計算的難易度が知られているにもかかわらず、アンダーコンプリート POMDP においてもサンプル効率の良い強化学習が達成可能か？
• RQ2 戦略的探索は、アンダーコンプリート POMDP におけるサンプル効率を達成するために不可欠であり、それが学習アルゴリズムに形式的に組み込まれるか？
• RQ3 決定的状態遷移を示す POMDP に対して、計算的に効率的かつ統計的に効率的なアルゴリズムを設計可能か？
• RQ4 POMDP における学習の根本的統計的限界は何か？ また、アンダーコンプリート性や最小特異値といった仮定がサンプル複雑性に与える影響は？

主な発見

• OOM-UCB は、アンダーコンプリート POMDP において $\varepsilon$-最適方策を求めるにあたり、最適な $\tilde{\mathcal{O}}(1/\varepsilon^2)$ のサンプル複雑性を達成し、他のすべてのパラメータに対して多項式的依存性を示す。
• アルゴリズムのサンプル複雑性は、発射行列の最小特異値に依存しており、下界によってこれが必要であることが示されている。
• 決定的状態遷移を示す POMDP に対しては、発射分布間の $\ell_2$ 距離に依存するサンプル複雑性を達成し、特異値に依存するよりもより望ましい依存性を示す。
• 下界により、過剰な設定（overcomplete）では追加の仮定なしには統計的に解けないことが示され、アンダーコンプリート仮定の正当性が裏付けられる。
• 別の下界により、考慮された仮定の下で、発射行列の最小特異値への依存性が避けがたいことが確認された。
• ブースティング手順は、$\varepsilon$ に対する最適な $\tilde{\mathcal{O}}(1/\varepsilon^2)$ の依存性を保持し、失敗確率へのロバストネスを損なわず、サンプル効率性を維持する。