[論文レビュー] Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning

Guangxiang Zhu, Minghao Zhang+2 more|arXiv (Cornell University)|Oct 23, 2020

Reinforcement Learning in Robotics参考文献 60被引用数 6

ひとこと要約

BIRDは、仮想的軌道と実際の軌道の間の相互情報量を最大化することで、サンプル効率を向上させる、新しいモデルベース強化学習フレームワークであり、シミュレートされたデータ上で学習された方策が現実環境にうまく一般化できるようにする。微分可能な計画と現実を意識した方策最適化を組み合わせることで、Dreamerなどの先行手法よりもサンプル効率および一般化性能において最先端の性能を達成する。

ABSTRACT

Sample efficiency has been one of the major challenges for deep reinforcement learning. Recently, model-based reinforcement learning has been proposed to address this challenge by performing planning on imaginary trajectories with a learned world model. However, world model learning may suffer from overfitting to training trajectories, and thus model-based value estimation and policy search will be pone to be sucked in an inferior local policy. In this paper, we propose a novel model-based reinforcement learning algorithm, called BrIdging Reality and Dream (BIRD). It maximizes the mutual information between imaginary and real trajectories so that the policy improvement learned from imaginary trajectories can be easily generalized to real trajectories. We demonstrate that our approach improves sample efficiency of model-based planning, and achieves state-of-the-art performance on challenging visual control benchmarks.

研究の動機と目的

• 学習済みの世界モデルによって生成される仮想的軌道と実際の軌道の間の分布シフトという、モデルベース深層強化学習における重要な課題に取り組む。
• 不完全な仮想的軌道でのみ方策を最適化する従来の解析的勾配手法の限界を克服し、現実世界での性能が低いという問題を解消する。
• 仮想的軌道から学習した方策が現実環境にうまく一般化できるように、相互情報量の最大化によってサンプル効率を向上させる。
• 信頼度を考慮した方策最適化、エントロピー正則化、モデル学習を統合した包括的なフレームワークを構築し、一般化性能を向上させる。
• 相互情報量の最大化が、単なる方策エントロピーの増加よりも現実世界での性能向上に寄与することを示す。

提案手法

• 学習済みの世界モデルによって生成される仮想的軌道上で方策最適化を実行する微分可能な計画フレームワークを提案する。
• 現実の軌道と仮想的軌道の間の相互情報量を最大化する目的関数を導入し、想像上の行動と現実の動的挙動を一致させる。
• ポリシー勾配更新と相互情報量最大化を組み合わせた共同最適化目的関数を定式化し、コントラスト学習の原則を用いる。
• 信頼度を考慮した方策最適化を組み込み、予測の信頼度が高いものに焦点を当て、モデルの誤差への過剰適合を低減する。
• エントロピー正則化を用いて探索を維持し、局所最適な方策に過早に収束するのを防ぐ。
• 相互情報量を主要な正則化子として用い、実際の経験データと合成的なロールアウトを組み合わせて、世界モデルと方策をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 現実の軌道と仮想的軌道の間の相互情報量の最大化は、モデルベース強化学習における方策の一般化を向上させることができるか？
• RQ2 BIRDの現実を意識した訓練メカニズムは、単に仮想的軌道でのみ最適化する標準的なモデルベース強化学習手法を上回るか？
• RQ3 BIRDの性能向上は相互情報量の最大化によるものか、単に方策エントロピーの増加によるものか？
• RQ4 BIRDは、重要な行動の予測が正確である必要がある長時間スケールの制御タスクにどれほど一般化できるか？
• RQ5 BIRDは、複雑な視覚的制御ベンチマークで最先端の性能を達成しつつ、サンプル効率を維持できるか？

主な発見

• BIRDは、画像入力を用いたDeepMind Control Suiteにおいて最先端の性能を達成し、従来のモデルベース手法よりも顕著にサンプル効率が向上した。
• アブレーションスタディにより、BIRDの優位性は相互情報量の最大化に起因しており、方策エントロピーの増加によるものではないことが確認された（エントロピーのみを増加させたSoft-BIRDはBIRDに劣る）。
• BIRDは、Hopper Hopにおける離陸やWalker Runにおけるスタンプといった重要な行動の予測が、Dreamerよりも正確であることが示された。これは、現実世界における予測能力が優れていることを示している。
• 可視化により、BIRDの世界モデルが、誤差の蓄積が深刻な長時間スケールのタスクにおいて、実際の軌道にさらにうまく一般化していることがわかった。
• 信頼度を考慮した方策最適化のコンponentは、初期段階の低信頼度・高誤差予測に騙されないよう、エージェントを防ぐ。
• BIRDは、シミュレーション上の行動と実際の環境動的挙動を一致させることで、想像と現実のギャップを縮小し、より強固な現実世界での性能を実現した。