[論文レビュー] Model-based Lookahead Reinforcement Learning

Zhang-Wei Hong, Joni Pajarinen+1 more|arXiv (Cornell University)|Aug 15, 2019

Reinforcement Learning in Robotics参考文献 45被引用数 9

ひとこと要約

本稿では、モデルフリー強化学習（MFRL）とモデル予測制御（MPC）を統合する新しいフレームワークMPC-MFRLを提案する。この手法は、高いデータ効率を実現しつつ、最先端の性能を達成する。MFRLの探索的方策を用いて動的モデルの品質を向上させ、価値関数とソフトグリーディ行動選択を組み込んだMPCを活用することで、MFRLレベルの性能を達成しながらも、MuJoCoの連続制御ベンチマークでMBRLレベルのサンプル効率を維持する。

ABSTRACT

Model-based Reinforcement Learning (MBRL) allows data-efficient learning which is required in real world applications such as robotics. However, despite the impressive data-efficiency, MBRL does not achieve the final performance of state-of-the-art Model-free Reinforcement Learning (MFRL) methods. We leverage the strengths of both realms and propose an approach that obtains high performance with a small amount of data. In particular, we combine MFRL and Model Predictive Control (MPC). While MFRL's strength in exploration allows us to train a better forward dynamics model for MPC, MPC improves the performance of the MFRL policy by sampling-based planning. The experimental results in standard continuous control benchmarks show that our approach can achieve MFRL`s level of performance while being as data-efficient as MBRL.

研究の動機と目的

• ロボット工学を含む実世界の応用において、モデルフリー強化学習（MFRL）の高いサンプル複雑性を解決すること。
• モデル近似誤差に起因するMFRLとモデルベース強化学習（MBRL）の性能格差を克服すること。
• MFRLの探索とMPCの計画を活用する統合フレームワークを構築し、データ効率と最終的な性能を向上させること。
• モデルベース計画において、完璧な動的モデルや2次元状態空間といった強い仮定に依存しないこと。
• MFRL方策とMPCの組み合わせが、価値関数とソフトグリーディ行動選択を用いて有効であることを実証的に検証すること。

提案手法

• MFRL方策を訓練して、動的モデル学習に適した多様で高品質なデータを収集し、MBRL単独のアプローチよりもモデル精度を向上させる。
• 推論時に訓練済みの前向き動的モデルをMPCに組み込み、オンライン計画を実行することで、サンプル効率的かつ高性能な制御を実現する。
• MFRL方策の価値関数をMPC計画に統合し、行動選択をガイドすることで、長期間にわたる意思決定を改善する。
• MPCにおけるソフトグリーディ行動選択戦略を実装し、探索と活用のバランスを保ち、近似モデルにおける過大評価バイアスを低減する。
• 動的モデルが完璧でなくても、構造的でない状態空間でも、方策と価値関数を同時に最適化することで計画性能を向上させる。
• 標準的なMuJoCo連続制御環境にこのフレームワークを適用し、性能とデータ効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 MFRLの探索的行動は、MBRL単独のデータ収集に比べ、学習された前向き動的モデルの品質を向上させるか？
• RQ2 MFRLの価値関数をMPC計画に統合することで、標準的なMPCやMFRL単体よりも性能が向上するか？
• RQ3 モデル近似誤差の下で、MPCにおけるソフトグリーディ行動選択は、グリーディまたはランダムな行動選択と比較してどのように異なるか？
• RQ4 提案フレームワークは、MFRLレベルの性能を達成しながら、どの程度サンプル複雑性を低減できるか？
• RQ5 完璧な動的モデルや制限付き状態空間構造に依存する従来のアプローチの限界は何か？

主な発見

• MPC-MFRLは、状態の最先端MFRL手法と同等の性能を達成しながら、環境との相互作用回数を著しく削減し、MBRLのデータ効率に匹敵する。
• MFRLによるデータ収集を活用することで、学習された前向き動的モデルの精度が向上し、より良いMPC計画結果が得られる。
• MFRLの価値関数をMPC計画に統合することで、長期間の性能が向上し、近似モデルにおける過大評価誤差が低減される。
• 提案されたソフトグリーディ行動選択戦略は、MPCにおける異なるモデル複雑度において、グリーディおよびランダム行動選択を常に上回る性能を示す。
• 実証的結果から、MPC-MFRLは単体のMFRLやMPCを上回る性能を示しており、特に複雑なMuJoCoタスクにおいて顕著である。
• このフレームワークは、任意の状態空間および行動空間で有効であり、完璧な動的モデルや2次元状態構造の仮定を必要としない。