[論文レビュー] Efficient Model-Based Deep Reinforcement Learning with Variational State Tabulation

Dane Corneil, Wulfram Gerstner+1 more|arXiv (Cornell University)|Feb 12, 2018

Reinforcement Learning in Robotics参考文献 5被引用数 27

ひとこと要約

本稿では、可微分な確率的サンプリングを用いた変分オートエンコーダを用いて、高次元の視覚的観測値を離散的で表形式の状態表現にマッピングする、Variational State Tabulation (VaST) を提案する。この表形式の空間において優先順位付きスイープを可能にすることで、小規模なバックアップを用いることで、サンプル効率的でモデルベースの深層強化学習を実現し、環境の変化に迅速に適応可能となり、3DナビゲーションおよびAtari Pongにおける潜在的学習を可能にする。

ABSTRACT

Modern reinforcement learning algorithms reach super-human performance on many board and video games, but they are sample inefficient, i.e. they typically require significantly more playing experience than humans to reach an equal performance level. To improve sample efficiency, an agent may build a model of the environment and use planning methods to update its policy. In this article we introduce Variational State Tabulation (VaST), which maps an environment with a high-dimensional state space (e.g. the space of visual inputs) to an abstract tabular model. Prioritized sweeping with small backups, a highly efficient planning method, can then be used to update state-action values. We show how VaST can rapidly learn to maximize reward in tasks like 3D navigation and efficiently adapt to sudden changes in rewards or transition probabilities.

研究の動機と目的

• 高次元状態空間における深層強化学習のサンプル非効率性を解消し、表形式の表現において効率的な計画を可能にする。
• 連続的または高次元の観測値において、類似した状態に一般化できない既存のモデルベース強化学習手法の限界を克服する。
• 生の観測値からコンパクトで一般化可能な状態表現を学習することで、環境の変化後にポリシーを迅速に適応可能にする。
• 可微分で自己教師ありの状態離散化を介して、モデルベース計画（例：優先順位付きスイープ）の長所と深層学習の一般化能力を統合する。
• 報酬に依存しないニューラルネットワークが、効率的な価値関数更新と転移学習を可能にする有用な状態抽象化を学習できることを示す。

提案手法

• 高次元観測値（例：画像）から離散的潜在状態への可微分で確率的なマッピングを学習するため、コーンクリート緩和を用いた変分オートエンコーダ（VAE）を用いる。
• 状態アグリゲーターを、隠れマルコフモデル（HMM）と組み合わせたハイブリッドな人工ニューラルネットワーク（ANN-HMM）として学習し、潜在状態を環境の表形式の抽象化として表現する。
• 表形式状態空間における小規模なバックアップを用いた優先順位付きスイープを適用し、複数の軌道にまたがる共有状態を活用してQ値を効率的に更新する。
• 格納済みのリターンを基にk近傍法を用い、新しい状態のQ値を推定することで、類似した過去の経験から一般化を実現する。
• 状態表現の学習を報酬予測から分離し、学習中に報酬に依存しない完全な自己教師あり学習を実現し、報酬形状に依存しない。
• 空間的および時間的関係を捉えた環境構造に特化した恒久的な状態テーブルを維持することで、転移学習および潜在的学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、高次元の視覚的入力から効率的なモデルベース計画を可能にする離散的で一般化可能な状態表現を学習できるか？
• RQ2 学習済みの表形式状態空間で優先順位付きスイープを用いることで、標準的な深層Qネットワークやモデルフリーのエピソード制御と比較して、サンプル効率が向上するか？
• RQ3 事前に学習された状態抽象化を活用することで、報酬やダイナミクスの急激な変化後にエージェントは迅速にポリシーを適応できるか？
• RQ4 従来の表形式強化学習と比較して、この手法はどれほど潜在的学習（報酬が得られない状況でも環境構造を学習する）を支援するか？
• RQ5 複雑な3DナビゲーションおよびAtari環境において、VaSTの性能はモデルフリーおよびモデルベースのベースラインと比較してどうなるか？

主な発見

• 3Dナビゲーションタスクにおいて、VaSTはモデルフリーのエピソード制御（MFEC）および深層Qネットワーク（DQN）を初期学習段階で上回り、収束が速く、サンプル効率が高かった。
• エージェントは、報酬が遅延する状況でも、異なる軌道にまたがる共有状態を介して価値更新を伝搬できる、コンパクトで一般化可能な状態表現を学習した。
• 3Dナビゲーションにおいて、VaSTは新しい経路や遮断されたルートといった環境の変化後、事前に学習した状態行動価値を再利用することで、迅速なポリシー適応を示した。
• AtariゲームPongにおいても強力な性能を発揮したが、他のAtariゲームでは性能が一貫性に欠けた。
• VaSTは潜在的学習を実現した：報酬が得られない状況でも、エージェントは迷路の構造などの環境の構造的モデルを構築した。これはトールマンの古典的実験と整合的であった。
• 報酬に依存しない状態エンコーダのトレーニングにより、安定した自己教師あり事前学習が可能となり、その後のポリシー学習とタスク間の転移性が向上した。