[论文解读] A Model-based Approach for Sample-efficient Multi-task Reinforcement Learning

Nicholas C. Landolfi, Garrett Thomas+1 more|arXiv (Cornell University)|Jul 11, 2019

Reinforcement Learning in Robotics参考文献 36被引用 7

一句话总结

该论文提出了一种基于模型的多任务强化学习算法，该算法在训练过程中学习一个共享的动力学模型，并利用该模型实现样本高效的零样本适应新任务。通过先在学习到的模型上进行策略热身训练（无需与真实环境交互），然后使用极少的真实样本进行微调，该方法实现了卓越的样本效率——所用环境交互次数不足MAML所需量的1%——同时在多种连续控制基准测试中保持了强劲的性能。

ABSTRACT

The aim of multi-task reinforcement learning is two-fold: (1) efficiently learn by training against multiple tasks and (2) quickly adapt, using limited samples, to a variety of new tasks. In this work, the tasks correspond to reward functions for environments with the same (or similar) dynamical models. We propose to learn a dynamical model during the training process and use this model to perform sample-efficient adaptation to new tasks at test time. We use significantly fewer samples by performing policy optimization only in a "virtual" environment whose transitions are given by our learned dynamical model. Our algorithm sequentially trains against several tasks. Upon encountering a new task, we first warm-up a policy on our learned dynamical model, which requires no new samples from the environment. We then adapt the dynamical model with samples from this policy in the real environment. We evaluate our approach on several continuous control benchmarks and demonstrate its efficacy over MAML, a state-of-the-art meta-learning algorithm, on these tasks.

研究动机与目标

• 通过在任务间共享动力学模型，提升多任务强化学习中的样本效率。
• 通过在学习到的虚拟环境中训练策略，实现在真实环境交互前的零样本适应新任务。
• 在适应阶段减少对真实环境样本的依赖，克服MAML等策略迁移方法的关键局限。
• 评估对分布偏移的鲁棒性，例如奖励函数或动力学模型的变化。
• 探索主动任务选择策略，优先选择在训练期间具有信息量的任务。

提出的方法

• 该算法在顺序训练阶段，从多个任务的交互中学习一个共享的动力学模型。
• 在遇到新任务时，首先在学习到的、模拟的环境中进行策略优化（虚拟环境），以生成一个热启动策略。
• 此热身阶段无需真实环境样本，从而实现零样本适应。
• 然后，从热启动策略中收集少量真实环境样本，以微调动力学模型和策略。
• 在训练阶段，使用SLBO——一种先进的基于模型的强化学习算法——来训练和优化动力学模型。
• 通过比较虚拟环境与真实环境中的策略性能差异，估计任务难度，探索主动任务选择策略以优先选择信息量大的任务。

实验结果

研究问题

• RQ1 共享的、学习到的动力学模型是否能实现对多样化任务的有效零样本策略适应，且仅需极少的真实环境交互？
• RQ2 在连续控制基准测试中，所提出的基于模型的方法与MAML相比，在样本效率方面表现如何？
• RQ3 所学习到的动力学模型在分布外任务（如奖励函数偏移或动力学改变）上的泛化能力如何？
• RQ4 在样本预算有限的情况下，训练期间的主动任务选择是否能提升适应性能？
• RQ5 与直接在真实世界中微调相比，基于学习到的模型的热身阶段对最终策略性能有何影响？

主要发现

• 所提出的方法在测试任务上的表现显著优于MAML，训练期间使用的环境交互次数不足MAML的1%——仅0.4百万次对比8000万次样本。
• 在half-cheetah和ant velocity任务中，基于模型的方法优于MAML，尤其在零样本适应场景下表现更优。
• 当奖励分布发生偏移（例如，从正速度变为负速度）时，该方法仍能保持强劲性能，表明其对奖励变化具有鲁棒性。
• 当真实动力学模型发生显著偏移时（例如，摩擦减小或腿部功能失效），性能下降，表明在大范围动力学变化下存在局限性。
• 主动任务选择在20个任务时带来适度增益，但在30个任务时收益递减，表明在当前基准测试中，该方法在无需主动采样的情况下已具备良好效果。
• 在学习到的模型上进行热身阶段至关重要：它实现了快速且样本高效的适应，绝大多数计算发生在虚拟环境中，而非真实环境交互中。