[論文レビュー] Temporal Predictive Coding For Model-Based Planning In Latent Space

Tung Nguyen, Rui Shu+3 more|arXiv (Cornell University)|Jun 14, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、潜在空間におけるモデルベース強化学習のための時系列予測符号化（TPC）を提案する。情報理論的目的関数を用い、静的または関係のない背景情報よりも、時系列に予測可能でタスク関連の特徴を優先する。複雑な背景を持つDMControl環境において、最先端のモデルを上回る性能を発揮するとともに、標準ベンチマークでも競争力のある性能を維持する。

ABSTRACT

High-dimensional observations are a major challenge in the application of model-based reinforcement learning (MBRL) to real-world environments. To handle high-dimensional sensory inputs, existing approaches use representation learning to map high-dimensional observations into a lower-dimensional latent space that is more amenable to dynamics estimation and planning. In this work, we present an information-theoretic approach that employs temporal predictive coding to encode elements in the environment that can be predicted across time. Since this approach focuses on encoding temporally-predictable information, we implicitly prioritize the encoding of task-relevant components over nuisance information within the environment that are provably task-irrelevant. By learning this representation in conjunction with a recurrent state space model, we can then perform planning in latent space. We evaluate our model on a challenging modification of standard DMControl tasks where the background is replaced with natural videos that contain complex but irrelevant information to the planning task. Our experiments show that our model is superior to existing methods in the challenging complex-background setting while remaining competitive with current state-of-the-art models in the standard setting.

研究の動機と目的

• 高次元観測におけるタスクに無関係な背景情報の課題を解決すること。
• 静的または不要な要素よりも、時系列に予測可能でタスク関連の成分を優先する表現学習手法を開発すること。
• ドーバーの多い環境に支配される現実世界のRL設定における、サンプル効率とロバスト性の向上。
• 再構成に基づく目的関数に代えて、理論的に裏付けられた予測符号化アプローチを採用し、不要な視覚的詳細の符号化を回避すること。
• 予測符号化目的関数から得た動的モデルを用いて、潜在空間での効果的な計画を可能にすること。

提案手法

• 本手法は、時系列予測符号化（TPC）を採用し、他のトラジェクトリから得たネガティブサンプルと比較して、真の次の潜在状態を最大限に予測の一貫性を高める。
• 観測と潜在コードの間ではなく、連続する時系列における潜在状態の間でコントラスト目的関数を用いることで、予測可能で動的である成分の符号化を促進する。
• 潜在動的モデルは、再帰的状態空間モデル（RSSM）を用いてモデル化され、潜在空間におけるロールアウトによる計画を可能にする。
• 動的モデルと計画プロセスをバックプロパゲーションで通して、ポリシーとワールドモデルをエンドツーエンドで学習する。
• 予測可能でない成分にのみ焦点を当てるため、タスクに無関係な情報の符号化が暗黙的に抑制される。
• 再構成に基づく手法とは異なり、デコーダーネットワークの必要がないため、背景の干渉要因への感受性が低下する。

実験結果

リサーチクエスチョン

• RQ1 時系列的一致性に焦点を当てた予測符号化目的関数は、高次元RLにおいて再構成に基づく目的関数や静的コントラスト目的関数を上回ることができるか？
• RQ2 時系列予測符号化は、視覚的観測におけるタスクに無関係で静的な背景情報の符号化を自然に抑制するか？
• RQ3 複雑で干渉的な背景を持つ環境において、最先端のモデルベース強化学習手法と比較して、本手法はどのように性能を発揮するか？
• RQ4 複雑な干渉要因環境において優れた性能を発揮する一方で、標準的なDMControlベンチマークでも既存のSOTAモデルと同等の性能を示せるか？
• RQ5 予測符号化目的関数は、現実世界のRLにおけるサンプル効率とロバスト性にどのように寄与するか？

主な発見

• 提案されたTPC手法は、自然な動画背景を含む複雑な干渉要因を含むDMControlタスクにおいて、既存の最先端モデルを顕著に上回る性能を発揮する。
• 干渉要因のない標準的なDMControlベンチマークにおいても、本手法は現在のSOTAモデルと同等の性能を維持しており、優れた一般化性能を示す。
• アブレーションスタディの結果、TPCは再構成に基づく手法や静的コントラスト手法とは異なり、静的で予測不能な背景要因の符号化を効果的に抑制することが確認された。
• 本手法は、予測可能でタスク関連の動的成分に注目しているため、複雑な環境下で高いサンプル効率を達成する。
• 理論的分析により、TPCは時系列に予測可能な成分を優先することで、最適意思決定に必要な情報を十分に符号化していることが示された。
• 実験的結果により、TPCはその予測目的関数のおかげで、ノイズや干渉要因をフィルタリングし、潜在空間におけるよりロバストな計画を実現することが検証された。