[論文レビュー] Learning latent state representation for speeding up exploration

Giulia Vezzani, Abhishek Gupta+2 more|arXiv (Cornell University)|May 27, 2019

Reinforcement Learning in Robotics参考文献 24被引用数 21

ひとこと要約

本論文では、関連するタスクからの事前経験を活用して低次元の潜在状態表現を学習し、それをもとに高次元連続環境におけるエントロピーに基づく探索を誘導するメタ探索手法を提案する。タスク関連の状態成分に対して変分オートエンコーダ（VAE）を訓練することで、全状態エントロピー最大化や標準ベースラインと比較して収束が速くなり、真の報酬関連状態空間上で最適化するオラクルに近い性能を達成する。

ABSTRACT

Exploration is an extremely challenging problem in reinforcement learning, especially in high dimensional state and action spaces and when only sparse rewards are available. Effective representations can indicate which components of the state are task relevant and thus reduce the dimensionality of the space to explore. In this work, we take a representation learning viewpoint on exploration, utilizing prior experience to learn effective latent representations, which can subsequently indicate which regions to explore. Prior experience on separate but related tasks help learn representations of the state which are effective at predicting instantaneous rewards. These learned representations can then be used with an entropy-based exploration method to effectively perform exploration in high dimensional spaces by effectively lowering the dimensionality of the search space. We show the benefits of this representation for meta-exploration in a simulated object pushing environment.

研究の動機と目的

• 高次元で報酬がスパースな強化学習環境における効率的探索の課題に対処すること。
• 事前経験を活用しないタスクに特化しない探索手法の限界を克服すること。
• 関連タスクにおける事前経験から、コンactなタスク関連潜在表現を学習し、有効な探索空間を縮小すること。
• 学習した表現を最大エントロピー探索戦略に統合し、新しいタスクにおける方策学習を加速すること。
• 代表的探索法が、シミュレートされた操作タスクにおいて全状態エントロピー最大化や標準ベースラインを上回ることを実証すること。

提案手法

• 関連する過去のタスクの軌跡上で、共有エンコーダ層を有するマルチヘッドVAEを訓練し、タスク関連状態成分を捉える、分離された潜在表現 $ z = h_{\alpha_{\text{shared}}}(s) \in \mathbb{R}^p $（$ p \ll n $）を学習する。
• VAEのELBO（下界の証拠）を $ -\log p(z) $ の推定値として用い、内在的探索ボーナスとして利用する。
• スパースな外在的報酬 $ R(s) $ に負のELBOを加算して、密度の高い内在的ボーナスを形成する：$ R_{\text{new}}(s) = R(s) - \gamma \cdot \text{ELBO}(z) $。
• このボーナスをポリシー勾配法（特にTRPO）に組み込み、低次元潜在空間における探索を促進する。
• 過去のタスク軌跡から抽出した潜在コード $ z $ に対してVAEを訓練することで、関連タスク間で一般化可能な表現を保証する。
• 学習した表現を用いて、新しいタスクにおける探索を誘導し、関連する状態部分空間に焦点を当て、探索空間の次元を低減する。

実験結果

リサーチクエスチョン

• RQ1 関連タスクからの事前経験を用いて、探索効率を向上させるコンパクトでタスク関連の潜在表現を学習できるか？
• RQ2 潜在表現を用いたエントロピー最大化は、高次元強化学習において全状態エントロピー最大化よりも収束が速いか？
• RQ3 代表的探索法は、標準ベースライン（例：ボーナスなし、アクション空間ボーナス、全状態ボーナス）と比較して、サンプル効率に優れているか？
• RQ4 VAEベースの潜在表現は、報酬がスパースな状況下でも、報酬を予測する状態成分を効果的に特定できるか？
• RQ5 過去のタスクからのメタ学習は、未観測の新しいタスクにおける探索性能をどの程度向上させるか？

主な発見

• VAEで学習した潜在表現を用いたエントロピーに基づく探索手法は、真の報酬関連状態（物体の位置）上で最適化するオラクル性能にほぼ匹敵する平均報酬を達成した。
• 潜在表現 $ z $ を用いた性能は、全状態 $ s $ を用いた場合よりも顕著に優れており、全状態空間上でエントロピーを最大化するベースライン方策は著しく学習が遅いことがわかった。
• 10個の新しいタスクにおいて、平均報酬の観点で、TRPOにボーナスなし、アクション空間ボーナス、全状態エントロピーボーナスを含む標準ベースラインをすべて上回った。
• VAEベースの表現はタスク関連ダイナミクスを効果的に捉えており、学習された $ z $ と実際の報酬生成成分との間に強い相関が確認された。
• スパース報酬を伴うシミュレートされた物体押し出し環境において、本手法は頑健性とサンプル効率を示し、事前経験が効果的な探索を誘導できることを検証した。
• 結果から、過去のタスクから分離された低次元の潜在空間を学習することで、生の状態空間や任意の内在的報酬に依存するよりも、より効率的な探索が可能になることが示唆された。