[論文レビュー] Dreaming: Model-based Reinforcement Learning by Latent Imagination without Reconstruction

Masashi Okada, Tadahiro Taniguchi|arXiv (Cornell University)|Jul 29, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 9

ひとこと要約

この論文は、ドリームァーの自己符号化目的を、オブジェクトの消失を克服するための、尤度フリーなInfoMax対照的学習目的に置き換えることで、生成的デコーダを不要にするモデルベース強化学習手法であるDreamingを提案する。線形ダイナミクスとランダムクロップ増強を組み合わせることで、ドリームァーが小さなオブジェクトの認識が弱いために失敗するような、困難なシミュレーテッドロボティクスタスクにおいて、最先端の性能を達成する。

ABSTRACT

In the present paper, we propose a decoder-free extension of Dreamer, a leading model-based reinforcement learning (MBRL) method from pixels. Dreamer is a sample- and cost-efficient solution to robot learning, as it is used to train latent state-space models based on a variational autoencoder and to conduct policy optimization by latent trajectory imagination. However, this autoencoding based approach often causes object vanishing, in which the autoencoder fails to perceives key objects for solving control tasks, and thus significantly limiting Dreamer's potential. This work aims to relieve this Dreamer's bottleneck and enhance its performance by means of removing the decoder. For this purpose, we firstly derive a likelihood-free and InfoMax objective of contrastive learning from the evidence lower bound of Dreamer. Secondly, we incorporate two components, (i) independent linear dynamics and (ii) the random crop data augmentation, to the learning scheme so as to improve the training performance. In comparison to Dreamer and other recent model-free reinforcement learning methods, our newly devised Dreamer with InfoMax and without generative decoder (Dreaming) achieves the best scores on 5 difficult simulated robotics tasks, in which Dreamer suffers from object vanishing.

研究の動機と目的

• ドリームァー（ピクセルから学習する先端のモデルベース強化学習手法）におけるオブジェクトの消失を解消すること。これは、小さなまたは重要なオブジェクトに対する再構築信号が弱いために発生する。
• ドリームァーにおける生成的デコーダの必要性を排除することにより、モデルの複雑さとパラメータ数を減らしながら、性能を損なわないこと。
• 変分ELBOに基づいて導出された尤度フリーな対照的表現学習目的を開発し、小さなオブジェクトの認識に対する耐性を高めること。
• 線形ダイナミクスとランダムクロップ増強が、ピクセルからのデコーダフリーMBRLにおける最先端の性能を達成するために不可欠であることを示すこと。

提案手法

• ドリームァーのグラフィカルモデルの下界（ELBO）から、尤度フリーでInfoMaxに基づく対照的目的を導出し、ピクセル空間の再構築損失に置き換える。
• 独立した線形ダイナミクスを導入し、潜在空間表現の安定性を高め、連続する状態間の時間的整合性を強制する。
• ランダムクロップデータ増強を適用し、エンコーダが背景のテクスチャではなく、タスクに関連する特徴に注目するように促す。
• 生成的デコーダを必要とせず、潜在状態と将来の観測間の相互情報量を最大化するように、対照的学習を用いた識別器を訓練する。
• ドリームァーと同一のポリシー最適化パイプラインを用いることで、互換性と公平な比較を確保する。
• 対照的学習目的を潜在ダイナミクスモデルの学習に統合し、再構築を必要とせずにピクセルからの有効な表現学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ドリームァーにおける視覚ベース制御タスクにおいて、標準的な自己符号化目的と比較して、デコーダフリーな対照的学習目的が優れているか？
• RQ2 ピクセルからのデコーダフリーMBRLで最先端の性能を達成するために、どのような要素が不可欠か？
• RQ3 線形ダイナミクスとランダムクロップ増強の使用が、表現品質と下流の制御性能を向上させるか？
• RQ4 提案手法が、ドリームァーが小さなオブジェクトの認識が弱いために失敗するタスクでオブジェクトの消失を克服できるか？
• RQ5 困難なシミュレーテッドロボティクスベンチマークにおいて、デコーダフリー手法の性能はドリームァーおよび最先端のモデルフリー強化学習手法と比較してどうか？

主な発見

• Dreamingは、UR5-reach や Connector-insert といった5つの困難なシミュレーテッドロボティクスタスクで、最先端の性能を達成した。ドリームァーがオブジェクトの消失に苦しむタスクにおいても同様に優れた性能を示した。
• Cup-catch タスクでは、100K環境ステップで報酬が 925 ± 48 を達成したが、ドリームァーは同じ条件下で 280 ± 437 にとどまり、顕著に劣っていた。
• アブレーションスタディにより、オーバーシュート距離 K=3 が最適な性能をもたらすことが確認された。複数のタスクでK=3が最高の報酬をもたらした。
• 線形ダイナミクスとランダムクロップ増強の組み合わせは不可欠である。両方のコンポーネントを削除すると、性能が著しく低下した。
• Dreamingは、SAC や SAC-Exploration といった最近のモデルフリー手法よりも、最も困難なタスクで優れた性能を示した。これは、改善された表現学習を伴うモデルベース計画の利点を示している。
• ハードなタスクでは優れた性能を示したが、Walker-walk などの平面走行タスクでは、背景のテクスチャが表現学習に干渉するため、性能が劣化した。