[論文レビュー] DreamerPro: Reconstruction-Free Model-Based Reinforcement Learning with Prototypical Representations

Fei Deng, Ingook Jang+1 more|arXiv (Cornell University)|Oct 27, 2021

Reinforcement Learning in Robotics参考文献 36被引用数 11

ひとこと要約

DreamerProは、再構成を不要とするモデルベース強化学習エージェントを提案する。視覚的干渉要因に対して頑健性を高めつつ、標準的な環境でも優れた性能を維持する。再帰的ワールドモデルの状態からプロトタイプ表現を学習することで、時間的ダイナミクスをクラスタ中心に要約し、Dreamerや対照的学習に基づくTPCを凌駕する。

ABSTRACT

Top-performing Model-Based Reinforcement Learning (MBRL) agents, such as Dreamer, learn the world model by reconstructing the image observations. Hence, they often fail to discard task-irrelevant details and struggle to handle visual distractions. To address this issue, previous work has proposed to contrastively learn the world model, but the performance tends to be inferior in the absence of distractions. In this paper, we seek to enhance robustness to distractions for MBRL agents. Specifically, we consider incorporating prototypical representations, which have yielded more accurate and robust results than contrastive approaches in computer vision. However, it remains elusive how prototypical representations can benefit temporal dynamics learning in MBRL, since they treat each image independently without capturing temporal structures. To this end, we propose to learn the prototypes from the recurrent states of the world model, thereby distilling temporal structures from past observations and actions into the prototypes. The resulting model, DreamerPro, successfully combines Dreamer with prototypes, making large performance gains on the DeepMind Control suite both in the standard setting and when there are complex background distractions. Code available at https://github.com/fdeng18/dreamer-pro .

研究の動機と目的

• 再構成に基づくワールドモデルのMBRLにおける限界を解決する。具体的には、タスクに無関係な視覚的詳細に過学習しやすく、計算コストが高くなる問題を改善する。
• 再構成フリーなMBRLにおける対照的学習の不安定性とバッチサイズ依存性を、プロトタイプに基づくアプローチによって克服する。
• 標準的なクラスタリング手法が無視する時間的構造を、プロトタイプ表現に統合することで、逐次構造を保持する。
• 標準的なRLベンチマークでの性能を損なわず、視覚的干渉要因に対して頑健性を高める。
• プロトタイプベースの表現学習が、ワールドモデルのダイナミクスと効果的に組み合わせられ、優れたMBRL性能を達成できることを示す。

提案手法

• 観察の生データではなく、ワールドモデルのダイナミクスネットワークの再帰的隠れ状態からプロトタイプを学習する。
• バッチ全体にわたる均一なクラスタ割り当てを促進する、対照的学習に類似した目的関数を用いる。
• 各観察のクラスタ割り当ての再構成を、生観察の再構成ではなく目的とする。これにより、低レベルの視覚的ノイズへの注目を軽減する。
• バックプロパゲーションによるエンドツーエンド学習を可能にする、微分可能な再帰的状態空間モデル（RSSM）を維持する。
• 標準的な観察再構成損失の代わりに、プロトタイプ再構成損失を採用することで、表現学習とピクセルレベルの詳細を分離する。
• MoCo や SwAV と同様にモーメンタムエンコーダーを用いて、プロトタイプの更新を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 再構成を不要とするMBRLにおいて、プロトタイプ表現学習が視覚的干渉要因に対して頑健性を高められるか？
• RQ2 プロトタイプと再帰的ワールドモデルダイナミクスを組み合わせることで、長時間スパンの計画とサンプル効率にどのような影響を与えるか？
• RQ3 多様な視覚的環境において、プロトタイプベースのワールドモデルが、再構成ベース（Dreamer）および対照的ベース（TPC）の両方を凌駆するか？
• RQ4 プロトタイプ学習が、自然な背景環境で優れた性能を発揮する一方で、標準的な制御タスクでも高い性能を維持できるか？
• RQ5 明示的な教師信号やインスタンスレベルの対照的比較なしに、時間的構造をプロトタイプに効果的に抽出できるか？

主な発見

• DreamerProは、DeepMind Controlスイートの全タスクにおいて、DreamerおよびTPCを一貫して上回る性能を示した。特に、自然背景の干渉要因がある状況で顕著な優位性を示した。
• 標準的なDMD設定では、再構成損失を完全に排除しても、Dreamerと同等またはそれ以上の性能を達成した。
• 背景に実世界の動画クリップを挿入した自然背景設定では、DreamerおよびTPCを著しく上回った。
• プロトタイプベースのアプローチにより、視覚的ノイズやタスクに無関係な詳細への感受性が低下し、より安定的かつ正確なワールドモデルのロールアウトが実現した。
• 予測可能でタスク関連のダイナミクスがプロトタイプにエンコードされているため、より優れたサンプル効率とポリシー性能が達成された。
• アブレーションスタディの結果、再帰的状態を用いたプロトタイプ学習が不可欠であることが確認された。観察そのものからプロトタイプを学習する方法では、時間的構造を捉えられず、性能が劣った。