[論文レビュー] Provably efficient RL with Rich Observations via Latent State Decoding

Simon S. Du, Akshay Krishnamurthy+4 more|arXiv (Cornell University)|Jan 25, 2019

Machine Learning and Algorithms被引用数 58

ひとこと要約

観察から潜在状態へのデコーディングを明示的に学習し、有限サンプル保証を伴う探索ポリシーカバーを構築することにより、リッチ観測をもつMDPに対して理論的にサンプル効率の高い強化学習アプローチを提案する。手法は backward probability vectors と inductive decoding を活用して、扱いやすい潜在状態探索問題へと還元する。

ABSTRACT

We study the exploration problem in episodic MDPs with rich observations generated from a small number of latent states. Under certain identifiability assumptions, we demonstrate how to estimate a mapping from the observations to latent states inductively through a sequence of regression and clustering steps -- where previously decoded latent states provide labels for later regression problems -- and use it to construct good exploration policies. We provide finite-sample guarantees on the quality of the learned state decoding function and exploration policies, and complement our theory with an empirical evaluation on a class of hard exploration problems. Our method exponentially improves over $Q$-learning with naïve exploration, even when $Q$-learning has cheating access to latent states.

研究の動機と目的

• 小さな潜在状態空間から発せられるリッチな観測を持つエピソード型MDPにおける探索を動機づけ、対処する。
• 全観測空間に依存せず効率的な探索を可能にする、扱いやすい潜在状態デコーディングアプローチを導入する。
• デコーディング精度と探索ポリシーの品質に関する有限サンプル保証を提供する。
• ナイーブなベースラインを超えた難問に対する強力な探索性能を示す実証的な検証を示す。

提案手法

• 潜在状態、観測可能な文脈、および遷移を捉えるブロック・マルコフ決定過程（BMDP）を定式化する。
• 文脈と潜在状態を g(x) および φ(s) を用いて Δ_MK の共有低次元空間に埋め込み、デコーディング関数クラスの実現可能性仮定の下で。
• 潜在状態を表すために backward probability vectors bν(s′) を用い、このベクトルを介して潜在状態を識別する γ-separability を確立する。
• ERM オラクルを介して一連の最小二乗問題を解き、文脈埋め込みを学習しデコード関数を導出する。
• 埋め込みベクトルをクラスタリングして潜在状態のブロックを識別し、文脈を発見された潜在状態に写像するデコードマップ f̂ を定義する。
• 遷移確率を推定し、状態遷移表を用いてターゲット潜在状態に到達するようにダイナミックプログラミングを適用して ε-ポリシーカバーを構築する。
• レベルごとに反復して（h = 2,…,H+1）潜在状態集合、埋め込み、遷移推定、およびポリシー集合を構築し、カバレッジと精度の境界を確保する。

実験結果

リサーチクエスチョン

• RQ1 管理可能な separability 条件の下で、リッチ観測を効果的に小さな潜在状態空間へデコードできるか？
• RQ2 リッチ観測を持つ BMDP におけるデコード精度と得られるポリシーカバーの有限サンプル保証は何か？
• RQ3 backward conditional probabilities を回帰によって潜在状態埋め込みを学習するためにどのように活用できるか？
• RQ4 提案された誘導的デコーディングアプローチは、サンプル効率の観点でナイーブな探索やベースラインRL手法とどのように比較されるか？
• RQ5 γ-separability のマージンと μ_min（最小到達確率）のサンプル複雑性における役割は何か？

主な発見

• 本論文は、 separability アサンプションの下で潜在状態デコーディング関数と ε-ポリシーカバーを回復する有限サンプル保証を提供する。
• PCID アルゴリズムは、観測空間サイズの多項式対数に比例するサンプル濃度で、M, K, H によって多項式的にスケールしつつ、サイズが高い確率で O(MH) のポリシーカバーを達成する。
• backward probability vector の形式化は最小二乗回帰によるデコーディングを可能にし、潜在状態と一致する正確な状態埋め込みを生み出す。
• 決定論的な BMDPs では ε パラメータをゼロにでき、デコーディングを簡略化し、固定アクション列で正確な状態到達を可能にする。
• 経験的結果は、ベースラインが潜在状態への不正アクセスを持っていても、ナイーブな Q 学習に対して探索効率の大幅な向上を示す。