[論文レビュー] Learning to Adapt: Meta-Learning for Model-Based Control

Ignasi Clavera, Anusha Nagabandi+4 more|arXiv (Cornell University)|Mar 30, 2018

Reinforcement Learning in Robotics参考文献 31被引用数 44

ひとこと要約

本論文では、最近の経験を微調整することで、グローバルダイナミクスモデルを活用し、新しい地形や損傷を伴う四肢など、未知の環境や摂動に対してエージェントがオンラインで迅速に適応できるメタラーニング手法を提案する。この手法は、サンプル効率の高い適応を実現し、非常に動的かつ未確認の現実世界の条件下でも頑健な性能を示す。

ABSTRACT

Although reinforcement learning methods can achieve impressive results in simulation, the real world presents two major challenges: generating samples is exceedingly expensive, and unexpected perturbations can cause proficient but narrowly-learned policies to fail at test time. In this work, we propose to learn how to quickly and effectively adapt online to new situations as well as to perturbations. To enable sample-efficient meta-learning, we consider learning online adaptation in the context of model-based reinforcement learning. Our approach trains a global model such that, when combined with recent data, the model can be be rapidly adapted to the local context. Our experiments demonstrate that our approach can enable simulated agents to adapt their behavior online to novel terrains, to a crippled leg, and in highly-dynamic environments.

研究の動機と目的

• 環境との相互作用が高コストであり、予期しない摂動が訓練済みポリシーを破壊する現実世界の強化学習における、サンプル非効率性と一般化性能の低さの課題に対処する。
• 再訓練から始めることなく、狭く最適化されたポリシーの限界を乗り越え、新しい状況に対してオンラインで適応可能にする。
• モデルベースRLとオンライン適応を組み合わせたメタラーニングフレームワークを開発し、動的環境におけるサンプル効率と頑健性を向上させる。

提案手法

• ポリシー適応のための事前知識として機能するグローバルダイナミクスモデルを学習し、最近の環境相互作用を用いて迅速な微調整を可能にする。
• 少量の最近のロールアウトを用いてグローバルモデルを更新することで、局所的な環境条件に適合させるオンライン適応を実装する。
• メタラーニングを用いて、グローバルモデルのインダクティブバイアスを最適化し、多様なタスクや摂動に一般化できるようにする。
• モデルベースRLを活用して計画を行い、適応中のサンプル効率を向上させ、環境との相互作用回数を削減する。
• 適応プロセスに対してメタ最適化を適用し、モデルが多様なシナリオにおいて迅速に適応できるように学習させる。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングされたモデルベースポリシーは、再訓練なしに推論時に新しい地形に対して迅速かつ効果的に適応できるか？
• RQ2 シミュレーテッド環境における、片足が不自由な状態（損傷した脚）のような予期しない摂動を、この手法はどの程度効果的に処理できるか？
• RQ3 標準的なRLや非メタラーニングベースラインと比較して、このアプローチはどの程度サンプル効率が向上するか？
• RQ4 モデルベースメタラーニングフレームワークは、非常に動的かつ変化し続ける環境に一般化できるか？

主な発見

• 提案手法により、エージェントは追加の環境相互作用を最小限に抑えつつ、未知の地形にオンラインで行動を適応できるようになった。
• 損傷した脚のような摂動に対しても、モデルは性能を維持し、予期しないハードウェア障害に対しても頑健であることが示された。
• 最近の経験を迅速に微調整するグローバルダイナミクスモデルを活用することで、サンプル効率の高い適応が実現された。
• 実験の結果、このアプローチは多様で動的環境において優れた一般化性能を示し、非メタラーニングベースラインよりも適応速度と成功確率で優れていることが確認された。