[論文レビュー] Learning to Adapt in Dynamic, Real-World Environments Through Meta-Reinforcement Learning

Anusha Nagabandi, Ignasi Clavera+5 more|arXiv (Cornell University)|Mar 30, 2018

Robotic Locomotion and Control被引用数 300

ひとこと要約

本論文は GrBAL と ReBAL を提案します。メタ学習ベースのオンライン適応を用いたモデルベース RL により、ダイナミックで現実世界の環境への迅速かつサンプル効率の良い適応を実現します。実世界の脚付きミリロボットを含む。

ABSTRACT

Although reinforcement learning methods can achieve impressive results in simulation, the real world presents two major challenges: generating samples is exceedingly expensive, and unexpected perturbations or unseen situations cause proficient but specialized policies to fail at test time. Given that it is impractical to train separate policies to accommodate all situations the agent may see in the real world, this work proposes to learn how to quickly and effectively adapt online to new tasks. To enable sample-efficient learning, we consider learning online adaptation in the context of model-based reinforcement learning. Our approach uses meta-learning to train a dynamics model prior such that, when combined with recent data, this prior can be rapidly adapted to the local context. Our experiments demonstrate online adaptation for continuous control tasks on both simulated and real-world agents. We first show simulated agents adapting their behavior online to novel terrains, crippled body parts, and highly-dynamic environments. We also illustrate the importance of incorporating online adaptation into autonomous agents that operate in the real world by applying our method to a real dynamic legged millirobot. We demonstrate the agent's learned ability to quickly adapt online to a missing leg, adjust to novel terrains and slopes, account for miscalibration or errors in pose estimation, and compensate for pulling payloads.

研究の動機と目的

• 現実世界の RL における perturbations や新しい地形によりダイナミクスが変化する際の迅速なオンライン適応の必要性を動機づける。
• 最近の経験を使用してオンラインでダイナミクスモデルを適応させる、サンプル効率の高いメタ学習フレームワークを開発する。
• オンライン適応のための二つの実装、GrBAL（勾配ベース）と ReBAL（再発ベース）を提案する。
• 動的な摂動を伴うシミュレートされた連続制御タスクと実際の脚付きミリロボットで評価して、実用的適用性を示す。

提案手法

• メタ学習を用いて急速に適応可能なニューラルダイナミクスモデルを備えたモデルベース RL。
• メタ訓練は過去の経験が高速適応を知らせるよう、基礎モデルのパラメータセットと更新機構を最適化する。
• 2つの更新機構: GrBAL は MAML に類似した勾配ベースの更新を使用; ReBAL は独自の更新規則を学ぶ再帰ネットワークを使用。
• 適応は過去の M 時間ステップを用いて次の K ステップを予測し、負の対数尤度を最小化するようパラメータを更新。
• 適応モデルを用いた MPPI（モデル予測パス積分制御）で計画を行い、各タイムステップで再計画。
• 訓練とテストのワークフローには、 meta-training 中のオンライン適応を含め、オンポリシーデータを提供する。

実験結果

リサーチクエスチョン

• RQ1 オンライン適応によって予測を改善するために、適応済みダイナミクスモデルは近未来のダイナミクスを変化させられるか？
• RQ2 GrBAL と ReBAL は、急激なダイナミクス変化や未知の環境に対して迅速なオンライン適応を可能にするか？
• RQ3 モデルベースのメタ RL は、サンプル効率と性能の点で、モデルフリーのメタ RL やベースライン MB 手法とどう比較されるか？
• RQ4 GrBAL または ReBAL のうち、 varied tasks でより良い一般化と高速適応を提供するのはどちらか？
• RQ5 オンライン適応は実機で実現可能で有益か？

主な発見

• 適応は更新前から更新後へのモデル予測誤差を低減し、効果的なオンライン適応を示している。
• GrBAL/ReBAL のメタ訓練は現実世界データ1.5-3時間で、約1000倍以上のデータで訓練したモデルフリーエージェントと同等以上の性能を得る。
• GrBAL は MB+DE および MB oracle を、迅速な適応を要する複数タスクのシナリオで上回る。
• 実機実験で、GrBAL は地形の変化、誤較正、ペイロードに対するオンライン適応を脚付きミリロボットで示す。
• GrBAL は概ね ReBAL よりも、 tested environments での高速適応と一般化が優れている。