[論文レビュー] Kinematic State Abstraction and Provably Efficient Rich-Observation Reinforcement Learning

Dipendra Misra, Mikael Henaff+2 more|arXiv (Cornell University)|Nov 13, 2019

Anomaly Detection Techniques and Applications被引用数 13

ひとこと要約

この論文は、前向きおよび後向きのダイナミクスが共有される観測をグループ化することで、運動的状態抽象化を学習することにより、豊富な観測環境における証明可能な効率的探索を可能にする強化学習アルゴリズムHOMERを紹介する。この手法は表現学習と戦略的探索を交互に実行し、観測空間のサイズに依存しない潜在状態における多項式的サンプル複雑性を達成し、スパarsely-rewardedで高次元な制御問題においてベースラインを上回る性能を発揮する。

ABSTRACT

We present an algorithm, HOMER, for exploration and reinforcement learning in rich observation environments that are summarizable by an unknown latent state space. The algorithm interleaves representation learning to identify a new notion of kinematic state abstraction with strategic exploration to reach new states using the learned abstraction. The algorithm provably explores the environment with sample complexity scaling polynomially in the number of latent states and the time horizon, and, crucially, with no dependence on the size of the observation space, which could be infinitely large. This exploration guarantee further enables sample-efficient global policy optimization for any reward function. On the computational side, we show that the algorithm can be implemented efficiently whenever certain supervised learning problems are tractable. Empirically, we evaluate HOMER on a challenging exploration problem, where we show that the algorithm is exponentially more sample efficient than standard reinforcement learning baselines.

研究の動機と目的

• 高次元で豊富な観測環境において、標準的なRLが統計的に不成立となるため、効率的探索の課題に対処すること。
• 潜在状態空間の事前知識なしに、生の観測からコンパクトな潜在状態表現を学習する手法を開発すること。
• 表現学習と戦略的探索を組み合わせることで、任意の報酬関数に対してサンプル効率的な方策最適化を可能にすること。
• 潜在状態の数およびホライズンに対して多項式的にスケーリングするが、観測空間サイズに依存しない、証明可能なサンプル複雑性の境界を達成すること。
• 基礎となる監視学習問題が扱いやすい場合に常に計算効率が保証される、還元フレームワークに基づく計算効率の良いアルゴリズムを設計すること。

提案手法

• HOMERは、観測が同じ前向きおよび後向きダイナミクスを持つ場合にグループ化される、運動的分離不能性と呼ばれる新しい状態抽象化を学習する。
• 生の観測上で対照的推定問題を用いて、運動的分離不能な状態を特定するボトルネック回帰器を訓練する。
• 探索問題を文脈的バンディット問題に還元することで、方策カバーを構築する。合成報酬関数を用いて、各抽象状態を訪問するインcentiveを与える。
• 粗い抽象化からの方策が新たな経験を可能にし、それが抽象化を精緻化するという、反復的かつ帰納的な方法で表現学習と方策学習を交互に実行する。
• 本手法は2つのコアコンponentsに依存する：状態抽象化のための表現ヘッド（REG）と、探索方策学習のための文脈的バンディット方策（CB）。
• 計算効率を保証する還元フレームワークに基づいて動作する。これは、基礎となる監視学習問題が扱いやすい場合に有効である。

実験結果

リサーチクエスチョン

• RQ1 豊富な観測環境において、潜在構造の事前知識なしに、生の観測からコンパクトで情報豊富な状態抽象化を学習できるか？
• RQ2 観測空間サイズに依存しない、証明可能な効率的探索戦略を設計できるか？
• RQ3 表現学習と探索の交互学習が、複雑で高次元な環境におけるより高いサンプル効率をもたらすか？
• RQ4 学習された抽象化が、任意の報酬関数に対してサンプル効率的な方策最適化を可能にするか？
• RQ5 提案された運動的状態抽象化が、標準的なRLベースラインと比較して、指数的サンプル効率の向上を実現するのに十分か？

主な発見

• HOMERは、潜在状態の数、行動数、ホライズン、関数クラスの複雑さに対して多項式的にスケーリングするが、観測空間サイズに明示的な依存がないサンプル複雑性を達成する。
• 10^-100の最適報酬確率を有する悪意あるコンビネーションロック問題において、HOMERは一貫して近似的に最適な方策を発見するが、ベースラインは失敗する。
• HOMERは、ナーブな探索、内因的好奇心（RND）、および先行研究からのPAC-RLアルゴリズムを用いた標準的なRLベースラインを上回る。
• HOMERの性能は、ホライズン長（H ∈ {6, 12, 25}）にかかわらず一貫して優れたサンプル効率を示す。
• 学習された運動的状態抽象化は、環境の潜在的な構造を効果的に捉えており、効果的な探索と方策学習を可能にする。
• 実験的結果は、対照的表現学習と文脈的バンディットによる方策カバー構築の組み合わせが、サンプル効率の顕著な向上をもたらすことを確認している。