[论文解读] Learning to Adapt in Dynamic, Real-World Environments Through Meta-Reinforcement Learning

Anusha Nagabandi, Ignasi Clavera+5 more|arXiv (Cornell University)|Mar 30, 2018

Reinforcement Learning in Robotics参考文献 55被引用 101

一句话总结

提出在基于模型的元强化学习（GrBAL/ReBAL）中进行在线适应，以便对动态、现实世界的变化进行快速适应；在仿真和真实腿式微型机器人上展示结果。

ABSTRACT

Although reinforcement learning methods can achieve impressive results in simulation, the real world presents two major challenges: generating samples is exceedingly expensive, and unexpected perturbations or unseen situations cause proficient but specialized policies to fail at test time. Given that it is impractical to train separate policies to accommodate all situations the agent may see in the real world, this work proposes to learn how to quickly and effectively adapt online to new tasks. To enable sample-efficient learning, we consider learning online adaptation in the context of model-based reinforcement learning. Our approach uses meta-learning to train a dynamics model prior such that, when combined with recent data, this prior can be rapidly adapted to the local context. Our experiments demonstrate online adaptation for continuous control tasks on both simulated and real-world agents. We first show simulated agents adapting their behavior online to novel terrains, crippled body parts, and highly-dynamic environments. We also illustrate the importance of incorporating online adaptation into autonomous agents that operate in the real world by applying our method to a real dynamic legged millirobot. We demonstrate the agent's learned ability to quickly adapt online to a missing leg, adjust to novel terrains and slopes, account for miscalibration or errors in pose estimation, and compensate for pulling payloads.

研究动机与目标

• 在真实世界的强化学习设置中，推动对未见扰动的在线适应。
• 开发一个样本高效的基于模型的元强化学习框架，利用最近的经验进行自适应。
• 在不需要完美全局动力学模型的前提下实现快速在线自适应。
• 在模拟的连续控制任务和真实的腿式微型机器人上验证该方法。

提出的方法

• 引入一个元学习目标，使用过去的 M 个时间步来更新神经动力学模型，以预测接下来的 K 个时间步。
• 两种实现：GrBAL（基于梯度、灵感来自 MAML）和 ReBAL（基于递归的自适应）。
• 使用在线自适应规则 uψ，根据最近的轨迹片段从 θ 获得 θ′。
• 使用经过适配的模型结合模型预测控制（MPPI）进行规划以生成行动。
• 离线在多样化环境中训练元参数 θ* 和 ψ*，并在元训练期间执行就地学习自适应。
• 通过比较更新前后模型在 K 步预测上的性能来评估自适应。

实验结果

研究问题

• RQ1 在线的、逐时间步的自适应是否能够对不断变化的动力学或扰动进行快速调整？
• RQ2 基于梯度的和基于递归的元学习者在实现快速自适应方面有何差异？
• RQ3 相比于无模型/元模型基线，元训练的在线自适应是否提高了样本效率？
• RQ4 该方法能否迁移到现实世界的动态机器人并处理诸如肢体缺失或标定误差等扰动？

主要发现

• 利用过去的 M 个时间步进行自适应可减少一步预测误差，表明在线自适应有效。
• 基于模型的元强化学习方法在比模型无关方法少 1000x 的训练数据下实现了相似或更高的回报。
• GrBAL 与 ReBAL 在跨多个任务的快速适应场景中优于 MB、MB+DE 和基线的无模型方法。
• 在评估的环境中，GrBAL 通常比 ReBAL 获得更好的泛化和快速自Adaptive。
• 在真实的腿式微型机器人上，GrBAL 展示了对地形变化和扰动的样本高效在线自适应。