[論文レビュー] Learning to Adapt in Dynamic, Real-World Environments Through Meta-Reinforcement Learning

Anusha Nagabandi, Ignasi Clavera+5 more|arXiv (Cornell University)|Mar 30, 2018

Reinforcement Learning in Robotics参考文献 55被引用数 101

ひとこと要約

オンライン適応をモデルベースのメタRL（GrBAL/ReBAL）で提案し、動的で現実世界の変化に迅速に適応することを示す；シミュレーションと実機の脚付きミリロボットで結果を示す。

ABSTRACT

Although reinforcement learning methods can achieve impressive results in simulation, the real world presents two major challenges: generating samples is exceedingly expensive, and unexpected perturbations or unseen situations cause proficient but specialized policies to fail at test time. Given that it is impractical to train separate policies to accommodate all situations the agent may see in the real world, this work proposes to learn how to quickly and effectively adapt online to new tasks. To enable sample-efficient learning, we consider learning online adaptation in the context of model-based reinforcement learning. Our approach uses meta-learning to train a dynamics model prior such that, when combined with recent data, this prior can be rapidly adapted to the local context. Our experiments demonstrate online adaptation for continuous control tasks on both simulated and real-world agents. We first show simulated agents adapting their behavior online to novel terrains, crippled body parts, and highly-dynamic environments. We also illustrate the importance of incorporating online adaptation into autonomous agents that operate in the real world by applying our method to a real dynamic legged millirobot. We demonstrate the agent's learned ability to quickly adapt online to a missing leg, adjust to novel terrains and slopes, account for miscalibration or errors in pose estimation, and compensate for pulling payloads.

研究の動機と目的

• 現実世界の強化学習設定における未見の撹乱へのオンライン適応を動機づける。
• 最近の経験を用いて適応する、サンプル効率の高いモデルベースのメタRLフレームワークを開発する。
• 完全なグローバル動力学モデルを必要とせず、迅速なオンライン適応を可能にする。
• シミュレーションによる連続制御タスクと実機の脚付きミリロボットでアプローチを検証する。

提案手法

• 過去のMタイムステップを用いて次のKステップを予測するニューラルダイナミクスモデルを更新するメタ学習目的を導入する。
• 2つの具体化：GrBAL（勾配ベース、MAMLに触発）とReBAL（再帰ベースの適応）。
• 最近の軌跡セグメントに基づいてオンライン適応則uψを用いてθ′をθから取得する。
• 適応後のモデルを用いてアクションを生成するために MPPI を用いて計画する。
• 多様な環境でオフラインでメタパラメータ θ* と ψ* を訓練し、メタトレーニング中にオンポリシー適応を行う。
• Kステップ予測における更新前後のモデル性能を比較して適応を評価する。

実験結果

リサーチクエスチョン

• RQ1 オンラインで、タイムステップごとの適応は変化するダイナミクスや撹乱に迅速に対応できますか？
• RQ2 勾配ベースと再帰ベースのメタラーナーは迅速な適応を実現する上でどう比較されますか？色
• RQ3 メタ訓練済みのオンライン適応は、モデルフリー/メタモデルベースのベースラインに対してサンプル効率を改善しますか？
• RQ4 このアプローチは現実世界のダイナミックなロボットへ転用でき、欠損した肢や校正のずれのような撹乱にも対処できますか？

主な発見

• 過去Mタイムステップを用いた適応は次一歩の予測誤差を低減し、効果的なオンライン適応を示している。
• モデルベースのメタRL手法は、モデルフリー手法と比べて訓練データを1000分の1程度に減らして同等かそれ以上のリターンを達成する。
• GrBALとReBALは、複数のタスクにおける迅速な適応シナリオでMB、MB+DE、およびモデルフリーベースラインを上回る。
• GrBALは一般化と高速適応の点でReBALより優れていることが多い。
• 実機の脚付きミリロボットでは、GrBALが地形の変化や撹乱に対してサンプル効率の高いオンライン適応を実証。