[论文解读] Learning to Adapt: Meta-Learning for Model-Based Control

Ignasi Clavera, Anusha Nagabandi+4 more|arXiv (Cornell University)|Mar 30, 2018

Reinforcement Learning in Robotics参考文献 31被引用 44

一句话总结

本文提出了一种基于元学习的模型化强化学习方法，通过利用近期经验微调的全局动力学模型，使智能体能够在线快速适应新环境和扰动（如新地形或受损肢体）。该方法实现了样本高效的适应，在高度动态且未见过的真实世界条件下表现出稳健性能。

ABSTRACT

Although reinforcement learning methods can achieve impressive results in simulation, the real world presents two major challenges: generating samples is exceedingly expensive, and unexpected perturbations can cause proficient but narrowly-learned policies to fail at test time. In this work, we propose to learn how to quickly and effectively adapt online to new situations as well as to perturbations. To enable sample-efficient meta-learning, we consider learning online adaptation in the context of model-based reinforcement learning. Our approach trains a global model such that, when combined with recent data, the model can be be rapidly adapted to the local context. Our experiments demonstrate that our approach can enable simulated agents to adapt their behavior online to novel terrains, to a crippled leg, and in highly-dynamic environments.

研究动机与目标

• 解决现实世界强化学习中的样本效率低下和泛化能力差的问题，其中环境交互成本高昂，且意外扰动会破坏已训练的策略。
• 通过实现无需从头开始重新训练的在线适应，克服狭隘优化策略的局限性。
• 开发一种结合基于模型的强化学习与在线适应的元学习框架，以提升在动态环境中的样本效率和鲁棒性。

提出的方法

• 训练一个作为策略适应先验的全局动力学模型，通过利用近期环境交互实现快速微调。
• 通过使用少量近期轨迹更新全局模型，实现在线适应，使其与局部环境条件对齐。
• 整合元学习以优化全局模型的归纳偏置，使其能够泛化到多样化任务和扰动。
• 利用基于模型的强化学习在适应过程中进行规划，提升样本效率，减少所需的环境交互次数。
• 对适应过程应用元优化，确保模型能够快速学习适应多样化场景。

实验结果

研究问题

• RQ1 经过元学习的基于模型的策略是否能在推理过程中无需重新训练的情况下，快速有效地适应新地形？
• RQ2 该方法在模拟环境中对如腿部瘫痪等意外扰动能处理到何种程度？
• RQ3 与标准强化学习或非元学习基线相比，该方法在样本效率方面提升了多少？
• RQ4 基于模型的元学习框架是否能泛化到高度动态和变化的环境中？

主要发现

• 所提方法使智能体能够以极少的额外环境交互在线适应新地形。
• 模型在腿部瘫痪等扰动下仍能保持性能，展现出对意外硬件故障的鲁棒性。
• 该方法通过利用可快速用近期经验微调的全局动力学模型，实现了样本高效的适应。
• 实验表明，该方法在多样化和动态环境中泛化良好，在适应速度和成功率方面优于非元学习基线。