[論文レビュー] Provably Efficient Exploration for RL with Unsupervised Learning

Fei Feng, Ruosong Wang+3 more|arXiv (Cornell University)|Mar 15, 2020

Advanced Bandit Algorithms Research参考文献 1被引用数 4

ひとこと要約

本稿は、無教師学習とノーレグレット表形式強化学習を組み合わせることで、強化学習における証明可能に効率的な探索フレームワークを提案する。無教師学習アルゴリズムが多項式的サンプル複雑性を持つ場合、潜在状態の数に関して多項式時間で近似的最適方策が得られることを証明しており、観測数よりもはるかに少ないものとなる。これは、豊富な観測を持つMDPにおける効率的探索の理論的保証を提供する。

ABSTRACT

Motivated by the prevailing paradigm of using unsupervised learning for efficient exploration in reinforcement learning (RL) problems [tang2017exploration,bellemare2016unifying], we investigate when this paradigm is provably efficient. We study episodic Markov decision processes with rich observations generated from a small number of latent states. We present a general algorithmic framework that is built upon two components: an unsupervised learning algorithm and a no-regret tabular RL algorithm. Theoretically, we prove that as long as the unsupervised learning algorithm enjoys a polynomial sample complexity guarantee, we can find a near-optimal policy with sample complexity polynomial in the number of latent states, which is significantly smaller than the number of observations. Empirically, we instantiate our framework on a class of hard exploration problems to demonstrate the practicality of our theory.

研究の動機と目的

• 無教師学習が強化学習における証明可能に効率的な探索を可能にする条件を特定すること。
• 少ない数の潜在状態から導かれる豊富な観測を持つエピソード的MDPにおける効率的探索の課題に取り組むこと。
• 表形式RLと無教師学習を統合した一般化されたアルゴリズムフレームワークを構築し、サンプル効率を向上させること。
• サンプル複雑性の理論的保証を、観測数ではなく潜在状態の数に依存する形で確立すること。

提案手法

• フレームワークは、豊富な観測を潜在状態にマッピングする無教師学習アルゴリズムと、潜在状態空間で方策を学習するノーレグレット表形式RLアルゴリズムを組み合わせる。
• 無教師学習アルゴリズムが多項式的サンプル複雑性を持つものと仮定し、潜在状態の推論が効率的であることを保証する。
• RL部は潜在MDP上で動作し、ノーレグレット学習を用いて近似的最適方策に収束する。
• 理論的分析により、全体のサンプル複雑性が潜在状態の数に対して多項式的にスケーリングすることが示されたが、観測数に対してはそうではない。
• ハードな探索問題にこのフレームワークを適用し、実用的妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 無教師学習が強化学習における証明可能に効率的な探索をもたらす条件は何か？
• RQ2 近似的最適方策を学習する際のサンプル複雑性は、観測数ではなく潜在状態の数に依存して有界にできるか？
• RQ3 無教師表現学習をどのように形式的にノーレグレットRLと統合することで理論的効率性を保証できるか？
• RQ4 無教師部が多項式的サンプル効率的である場合、フレームワークはサンプル効率性を維持するか？
• RQ5 理論的フレームワークは、挑戦的な探索タスクに実用的に適用可能か？

主な発見

• フレームワークは、潜在状態の数に関して多項式的サンプル複雑性を達成し、これは観測数よりもはるかに小さい。
• 無教師学習アルゴリズムが多項式的サンプル複雑性を持つ限り、理論的保証が成立する。
• 実験結果により、このフレームワークがハードな探索問題のクラスにおいて実用的に有効であることが示された。
• 環境の低次元潜在構造を活用することで、サンプル複雑性のボトルネックが効果的に低減された。
• 無教師学習とノーレグレットRLの統合により、潜在構造の事前知識がなくても、証明可能な効率性が達成可能である。