[論文レビュー] Learning Causal State Representations of Partially Observable Environments

Amy Zhang, Zachary C. Lipton+6 more|arXiv (Cornell University)|Jun 25, 2019

Reinforcement Learning in Robotics参考文献 68被引用数 30

ひとこと要約

本稿では、RNNを用いて行動・観測履歴から将来の観測を予測することで、部分的に観測可能な環境における因果的状態表現を勾配ベースで学習する手法を提案する。因果的状態、双模倣（bisimulation）、予測状態表現（predictive state representations）の理論的関連を確立し、学習された表現が最適値関数の下界を保証する有効な強化学習を可能にすることを示した。

ABSTRACT

Intelligent agents can cope with sensory-rich environments by learning task-agnostic state abstractions. In this paper, we propose an algorithm to approximate causal states, which are the coarsest partition of the joint history of actions and observations in partially-observable Markov decision processes (POMDP). Our method learns approximate causal state representations from RNNs trained to predict subsequent observations given the history. We demonstrate that these learned state representations are useful for learning policies efficiently in reinforcement learning problems with rich observation spaces. We connect causal states with causal feature sets from the causal inference literature, and also provide theoretical guarantees on the optimality of the continuous version of this causal state representation under Lipschitz assumptions by proving equivalence to bisimulation, a relation between behaviorally equivalent systems. This allows for lower bounds on the optimal value function of the learned representation, which is tight given certain assumptions. Finally, we empirically evaluate causal state representations using multiple partially observable tasks and compare with prior methods.

研究の動機と目的

• 高次元の観測を持つ部分的に観測可能な環境において、効果的で一般化可能な状態表現を学習する課題に対処すること。
• 予測状態表現（PSRs）、双模倣、因果推論の間のギャップを埋めるために、因果的状態を最も粗い行動的に同等な分割として形式化すること。
• RNNを用いて観測予測に訓練されたものから、近似因果的状態を勾配ベースで学習する微分可能で勾配ベースのアルゴリズムを開発すること。
• リプシッツ連続性と双模倣距離を用いて、学習された表現の最適性に関する理論的保証を提供すること。
• 離散的および連続的潜在状態を有する環境、特にGridWorldおよび変更済みVizDoomとAtariタスクにおいて、本手法の実証的頑健性を示すこと。

提案手法

• 観測系列の再構成誤差を用いて、行動と観測履歴から将来の観測を予測するRNNを訓練する。
• 因果的状態を、将来を最大限に予測可能な履歴の最も粗い分割として定義し、RNNの隠れ状態を連続的表現として活用する。
• ボトルネック層と勾配降下法を用いた微分可能離散化手法を導入し、離散的因果的状態の近似を実現する。
• 因果的状態と最も粗い双模倣分割の間の理論的同等性を確立し、双模倣距離を用いて抽象化されたMDPの最適値関数の下界を導出する。
• 報酬予測誤差と元のMDPと抽象化されたMDP間の分布的一致性を組み合わせた損失関数を定式化し、リプシッツ仮定の下で境界を導出する。
• 抽象化されたMDPと元のMDP間の遷移分布のワーサーテイン距離を用いて、表現の構造的忠実度を測定する。

実験結果

リサーチクエスチョン

• RQ1 観測予測に訓練された微分可能でRNNベースのアーキテクチャを用いて、因果的状態を効果的に近似できるか？
• RQ2 提案手法の因果的状態表現は、PSR や DRQN と比較して、部分的に観測可能なタスクにおけるサンプル効率と性能で優れているか？
• RQ3 因果的状態と双模倣の間にはどのような理論的関係があり、この関係が学習された表現の品質に関する保証をもたらすか？
• RQ4 連続的因果的状態表現は、離散的近似よりも予測的・行動的忠実度をより良く保持しているか？
• RQ5 本手法は、連続的潜在状態と高次元観測を持つ環境、例えば変更済みVizDoomや点滅するAtariゲームなどに一般化可能か？

主な発見

• 連続的因果的状態表現は、GridWorldナビゲーションタスクにおいて、離散的近似とDRQNを上回る訓練効率と最終的な性能を達成した。
• 連続的因果的状態表現の離散化は、性能の著しい低下を引き起こした。これは、連続的表現が必要な情報をより良く保持していることを示している。
• 理論的分析により、因果的状態が最も粗い双模倣分割と同等であることが示され、抽象化されたMDPの最適値関数の下界が得られた。
• 双模倣距離を用いた最適値関数の保証可能な下界が得られた。この下界は、値関数のリプシッツ連続性とMDP間の分布的距離に依存する。
• 変更済みVizDoomおよび点滅するAtariタスクにおける実証的評価により、連続的潜在状態と部分的観測に対する本手法の頑健性が確認された。
• 勾配ベースの因果的状態学習により、エンドツーエンドの訓練と、豊富な観測を持つ多様な部分的観測環境への一般化が可能になった。