[論文レビュー] Uncertainty-aware Model-based Policy Optimization

Tung-Long Vuong, Kenneth Tran|arXiv (Cornell University)|Jun 25, 2019

Reinforcement Learning in Robotics参考文献 26被引用数 9

ひとこと要約

本論文では、不確実性を考慮したダイナミクスモデルと、微分可能計画を用いたポリシー最適化を統合する新しいフレームワーク、不確実性対応モデルベースポリシー最適化（MBPO）を提案する。モデルベース計画と自動微分を用いたポリシー勾配学習を組み合わせることで、MuJoCoの連続制御ベンチマークにおいて、最先端のモデルフリーおよびモデルベースベースラインと比較して優れたサンプル効率と競争力のある漸近的性能を達成する。

ABSTRACT

Model-based reinforcement learning has the potential to be more sample efficient than model-free approaches. However, existing model-based methods are vulnerable to model bias, which leads to poor generalization and asymptotic performance compared to model-free counterparts. In addition, they are typically based on the model predictive control (MPC) framework, which not only is computationally inefficient at decision time but also does not enable policy transfer due to the lack of an explicit policy representation. In this paper, we propose a novel uncertainty-aware model-based policy optimization framework which solves those issues. In this framework, the agent simultaneously learns an uncertainty-aware dynamics model and optimizes the policy according to these learned models. In the optimization step, the policy gradient is computed by automatic differentiation through the models. With respect to sample efficiency alone, our approach shows promising results on challenging continuous control benchmarks with competitive asymptotic performance and significantly lower sample complexity than state-of-the-art baselines.

研究の動機と目的

• 現実世界の制御設定におけるモデルフリー強化学習の高いサンプル複雑性に対処すること。
• ダイナミクス予測における不確実性を明示的にモデル化することで、モデルベース強化学習におけるモデルバイアスを克服すること。
• モデル予測制御（MPC）を明示的なポリシーモデルに置き換えることで、効率的で低遅延のポリシー推論を可能にすること。
• 類似したタスク間で学習済みのダイナミクスモデルとポリシーを再利用可能にするように、転移学習を支援すること。
• モデルフリー手法と比較して高いサンプル効率を維持しながら、競争力のある漸近的性能を達成すること。

提案手法

• バギングを用いたスケーラブルな不確-certainty推定のためのブートストラップを活用し、アンサンブル法を用いて深層ニューラルネットワークのダイナミクスモデルを学習する。
• 自動微分を用いてダイナミクスモデルを通じてポリシー勾配を計算し、エンドツーエンドのポリシー最適化を可能にする。
• 従来のMPCに代えて明示的なポリシーネットワークを採用することで、直接的なポリシー評価と転送可能性を実現する。
• 各環境インタラクション後にオンラインでポリシー更新を行い、非同期データを活用して効率的な学習を実現する。
• 長時間スパンでの誤差の蓄積を低減するため、不確実性推定値を計画目的関数に組み込む。
• 価値関数推定における不確実性の重み付けを施すことで、リスクセンシティブな計画を実現し、耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 不確実性を考慮したダイナミクスモデリングは、モデルベース強化学習におけるモデルバイアスを低減し、長時間スパンの計画性能を向上させることができるか？
• RQ2 学習済みダイナミクスを介した微分可能ポリシー最適化は、MPCベースのアプローチと比較して優れたサンプル効率を達成できるか？
• RQ3 提案されたフレームワークは、関連するタスク間でダイナミクスモデルとポリシーの両方の転移学習を可能にするか？
• RQ4 提案手法のサンプル効率は、連続制御ベンチマークにおける最先端のモデルフリーおよびモデルベースアルゴリズムと比較してどうなるか？
• RQ5 不確実性推定の導入は、漸近的性能と学習安定性にどのような影響を与えるか？

主な発見

• MBPOは、Pendulum-v0、Swimmer-v2、HalfCheetah-v2において、PPO、DDPG、SAC、STEVEといった最先端のベースラインと比較して、顕著に低いサンプル複雑性を達成した。
• 本手法は、はるかに少ない環境インタラクション回数で学習されたにもかかわらず、SAC や PPO といったモデルフリー手法と同等またはそれ以上の漸近的性能を達成した。
• 原理的な不確実性推定により、モデル誤差と誤差蓄積の影響が効果的に低減されており、計画ホライズンが延長するに従って価値関数推定誤差が減少していることが示された。
• 明示的なポリシーモデルにより、転移学習が可能となり、類似した環境で既存のポリシーとダイナミクスモデルを活用した起動が可能になった。
• 強力な性能を発揮している一方で、MBPOの結果はランダムシードに敏感であることが判明し、激しいオンライン更新と初期のランダム探索の欠如による学習ダイナミクスの不安定性が示唆された。
• 本フレームワークは、不確実性を適切にモデル化し、ポリシー最適化に統合することで、モデルベース強化学習が高サンプル効率と優れた漸近的性能を両立可能であることを示した。