[論文レビュー] DeepMDP: Learning Continuous Latent Space Models for Representation Learning

Carles Gelada, Saurabh Kumar+3 more|arXiv (Cornell University)|Jun 6, 2019

Reinforcement Learning in Robotics被引用数 43

ひとこと要約

DeepMDPを導入し、報酬予測と次状態分布予測の二つの損失によって学習される潜在空間MDPで、表現とモデル品質に保証を提供し、Atariと合成環境での利点を実証する。

ABSTRACT

Many reinforcement learning (RL) tasks provide the agent with\nhigh-dimensional observations that can be simplified into low-dimensional\ncontinuous states. To formalize this process, we introduce the concept of a\nDeepMDP, a parameterized latent space model that is trained via the\nminimization of two tractable losses: prediction of rewards and prediction of\nthe distribution over next latent states. We show that the optimization of\nthese objectives guarantees (1) the quality of the latent space as a\nrepresentation of the state space and (2) the quality of the DeepMDP as a model\nof the environment. We connect these results to prior work in the bisimulation\nliterature, and explore the use of a variety of metrics. Our theoretical\nfindings are substantiated by the experimental result that a trained DeepMDP\nrecovers the latent structure underlying high-dimensional observations on a\nsynthetic environment. Finally, we show that learning a DeepMDP as an auxiliary\ntask in the Atari 2600 domain leads to large performance improvements over\nmodel-free RL.\n

研究の動機と目的

• RLの高次元観測を意味のある連続潜在状態へと圧縮することによる表現学習の動機づけ。
• 報酬と次状態遷移の可處理な損失で訓練される潜在空間モデル（DeepMDP）の提案。
• 潜在空間学習と価値関数の精度およびモデル品質を結ぶ理論的保証の提供。
• DeepMDPとビサイミュレーション概念の接続と、潜在空間学習における異なる確率メトリクスの役割の分析。
• モデルフリーRL（Atari）における補助タスクとしてのDeepMDPの実用的利点を実証し、合成設定における潜在構造の回復を観察。

提案手法

• DeepMDPを埋め込みphiがSを連続的な潜在空間へ写像する埋め込み関数を持つ潜在空間モデルとして定義する。
• 二つの損失で訓練する：L_R = |R(s,a) - R̄(phi(s),a)| および L_P = D(phi P(·|s,a), P̄(·|phi(s),a))（Dは分布距離） 。
• 分析は主に Wasserstein 距離に焦点を当てるが、後半でNorm-MMD族にも拡張する。
• DeepMDPの誤差と価値関数の違いおよび表現品質を結ぶグローバル（L_infty）および局所（L^ξ）損失境界を確立する。
• リプスチッツ性に基づく境界を証明し、DeepMDP表現とビサイミュレーション距離の関係を明らかにする。
• 損失がゼロのとき、表現は価値関係を保存することを示し、ビサイミュレーションによる最適性欠損と方策集合を分析する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間モデルをどのように構築すれば、学習された表現が価値関数情報を保持するかを保証できるか。
• RQ2 選択された分布メトリクスに関して、DeepMDPの表現とモデル品質にどんな保証を確立できるか。
• RQ3 グローバルおよび局所のDeepMDP損失は、元のMDPと潜在モデル間の実際の価値差にどのように関連するか。
• RQ4 DeepMDPの表現とビサイミュレーション指標との関係はどのようで、これが方策クラスにどんな影響を与えるか。
• RQ5 DeepMDPベースの補助タスクは大規模RL領域（例：Atari）で性能向上をもたらすか、潜在構造を高次元観測で回復できるか。

主な発見

• DeepMDPの報酬と遷移のための損失は、潜在表現とモデルが元のMDPを近似するのに高品質であるという保証を提供する。
• 価値差の境界があり：|Q^π(s,a) - Q̄^π(phi(s),a)| ≤ (L_R^∞ + γ K_V L_P^∞)/(1-γ)（リプシッツ値の方策に対して）。
• L_R^∞ = 0 かつ L_P^∞ = 0 の場合、埋め込みphiは価値関係をリプシッツ項まで保存し、表現品質を保証する。
• ウォッシャーストン距離はDeepMDPとビサイミュレーションの意味のある結びつきを与え、埋め込み距離と損失からビサイミュレーション距離の上界を導出する。
• Norm-MMD距離へ一般化でき、平滑性の代替指標やウォッシャーストンよりも計算上の利点が得られる可能性がある。
• 実証的には、Atari 2600での補助タスクとしてDeepMDPを学習させると、ベースラインのモデルフリー手法より大幅な性能向上が得られ、合成環境ではDeepMDPが潜在構造を回復する。