[論文レビュー] Model-Based Reinforcement Learning via Meta-Policy Optimization

Ignasi Clavera, Jonas Rothfuss+4 more|arXiv (Cornell University)|Sep 14, 2018

Machine Learning and Data Classification被引用数 117

ひとこと要約

MB-MPOはダイナミクスモデルのアンサンブルを学習し、一つの勾配ステップで任意のモデルへ迅速に適応できるポリシーをメタ学習します。これにより、はるかに少ないデータでモデルフリーと同等の漸近性能を達成します。

ABSTRACT

Model-based reinforcement learning approaches carry the promise of being data efficient. However, due to challenges in learning dynamics models that sufficiently match the real-world dynamics, they struggle to achieve the same asymptotic performance as model-free methods. We propose Model-Based Meta-Policy-Optimization (MB-MPO), an approach that foregoes the strong reliance on accurate learned dynamics models. Using an ensemble of learned dynamic models, MB-MPO meta-learns a policy that can quickly adapt to any model in the ensemble with one policy gradient step. This steers the meta-policy towards internalizing consistent dynamics predictions among the ensemble while shifting the burden of behaving optimally w.r.t. the model discrepancies towards the adaptation step. Our experiments show that MB-MPO is more robust to model imperfections than previous model-based approaches. Finally, we demonstrate that our approach is able to match the asymptotic performance of model-free methods while requiring significantly less experience.

研究の動機と目的

• データ効率の高い強化学習を複雑な制御タスクに対して動機づける。
• ダイナミクスモデルの分布へ適応するポリシーをメタ学習させることでモデルバイアスに対処する。
• 学習済みダイナミクスのアンサンブルを用いて堅牢な性能と高速な適応を実現する。
• メタ最適化が少ない経験量でモデルフリーの漸近的性能に匹敵できることを示す。

提案手法

• Δsを予測するニューラルネットワークダイナミクスモデルのアンサンブルを学習する。
• アンサンブルを用いてMDPの分布を形成し、これらのモデルを横断してポリシーを最適化するために勾配ベースのメタ学習を適用する。
• 事前更新ポリシーθが各モデルkに対して1つの勾配ステップで迅速に適応できるよう、MAML目的関数を用いて事前更新ポリシーを訓練する：θ′k = θ + α ∇θ Jk(θ)。
• 事前更新ポリシーを用いてk番目のモデル内で想像的な軌道をシミュレートしてJk(θ)を推定する。
• 全モデルにわたるメタ目的に向けてポリシー勾配法（TRPO）による外部ポリシー最適化を実施する。
• アンサンブルを訓練し、 aggregated dataでモデルを定期的に更新するための現実世界データを収集する。

実験結果

リサーチクエスチョン

• RQ1 MB-MPOは実世界データを大幅に削減しつつ、モデルフリー法と同等の漸近的性能を達成できるか。
• RQ2 学習済みダイナミクスモデルのアンサンブルに対するメタ学習は、従来のモデルベース手法と比較してモデルバイアスへのロバスト性を高めるか。
• RQ3 各モデル内でのポリシー適応はデータ収集効率と学習速度にどう影響するか。
• RQ4 MB-MPOは偏ったり不完全なダイナミクスモデルや長期予測へのロバスト性を持つか。

主な発見

• MB-MPOは6つのMujocoタスクにおいて、データを10–100×少なくとも実験済みの最先端のモデルフリー手法と漸近的性能を一致させる。
• MB-MPOは収束速度と最終性能の点で最近のモデルベースのベースライン（ME-TRPO、MB-MPC）を上回り、特に長期的計画を要するタスクで優位。
• モデルアンサンブルの不確実性とポリシーの可塑性（事前更新と事後更新ポリシー間のKL発散）には強い正の相関がある。
• MB-MPOは偏った/ノイジーなダイナミクスモデル下でも堅牢で、ME-TRPOが失敗するような強いモデル不全を伴う場合でも学習できる。
• 各アンサンブルモデルへのポリシー適応を行い、その後メタポリシーを更新する方が、初期学習や適用なしで学ぶよりも収束が速く、サンプル効率が良い。
• 実世界データは容易な領域で約30分程度、難しい領域では約90分程度で高い性能に到達する。