[论文解读] Guided Meta-Policy Search

Russell Mendonca, Abhishek Gupta+4 more|arXiv (Cornell University)|Apr 1, 2019

Reinforcement Learning in Robotics参考文献 46被引用 16

一句话总结

该论文提出了一种引导式元策略搜索（GMPS），一种元强化学习方法，通过使用监督模仿学习来学习快速的强化学习过程，利用离策略强化学习或人类演示作为专家监督，从而加速元训练。GMPS在先前的元强化学习方法基础上实现了高达10倍的样本效率提升，并在稀疏奖励和视觉控制任务中实现了有效的适应。

ABSTRACT

Reinforcement learning (RL) algorithms have demonstrated promising results on complex tasks, yet often require impractical numbers of samples since they learn from scratch. Meta-RL aims to address this challenge by leveraging experience from previous tasks so as to more quickly solve new tasks. However, in practice, these algorithms generally also require large amounts of on-policy experience during the meta-training process, making them impractical for use in many problems. To this end, we propose to learn a reinforcement learning procedure in a federated way, where individual off-policy learners can solve the individual meta-training tasks, and then consolidate these solutions into a single meta-learner. Since the central meta-learner learns by imitating the solutions to the individual tasks, it can accommodate either the standard meta-RL problem setting or a hybrid setting where some or all tasks are provided with example demonstrations. The former results in an approach that can leverage policies learned for previous tasks without significant amounts of on-policy data during meta-training, whereas the latter is particularly useful in cases where demonstrations are easy for a person to provide. Across a number of continuous control meta-RL problems, we demonstrate significant improvements in meta-RL sample efficiency in comparison to prior work as well as the ability to scale to domains with visual observations.

研究动机与目标

• 为了解决元强化学习在元训练期间样本复杂度过高的问题，该问题限制了其在真实场景中的实用性。
• 通过将专家轨迹生成与元策略学习解耦，并使用稳定的模仿学习作为监督，实现高效的元优化。
• 通过引入演示来引导探索，提升在稀疏奖励环境中的样本效率。
• 通过使用稳定的基于模仿学习的元优化，将元强化学习扩展到高维视觉观测空间。
• 在元测试阶段仅用少量梯度步数即可实现基于视觉策略的快速适应。

提出的方法

• GMPS通过模仿每个元训练任务中由离策略强化学习或人类演示生成的专家策略来训练元学习器。
• 元学习器通过监督模仿损失进行优化，以在内层循环中经过一次或几次梯度更新后匹配专家动作。
• 专家策略通过高效的离策略强化学习算法独立生成，避免了在元训练期间收集在线策略数据。
• 对于视觉控制任务，整个策略（包括卷积层和全连接层）均被元优化，但在内层循环微调时仅更新全连接层。
• 该方法支持混合设置，当有演示可用时使用，可提升稳定性和样本效率。
• 该方法将专家策略生成与元优化解耦，从而实现可扩展且稳定的元强化学习训练。

实验结果

研究问题

• RQ1 监督模仿学习能否显著降低元强化学习在元训练期间的样本复杂度？
• RQ2 在稀疏奖励环境中，引入专家演示如何影响元优化的稳定性和样本效率？
• RQ3 GMPS能否在元测试阶段仅用少量梯度步数即实现基于视觉策略的快速适应？
• RQ4 与MAML、PEARL和MAESN等标准元强化学习方法相比，GMPS在样本效率和性能方面表现如何？
• RQ5 当使用多任务模仿学习进行预训练时，GMPS能否有效迁移到分布外的任务？

主要发现

• 在元训练中，GMPS相较于先前的元强化学习方法（如PEARL、MAESN和MAML）实现了高达10倍的样本效率提升。
• 在门打开和腿式运动等稀疏奖励环境中，GMPS成功学习了探索策略，而标准元强化学习因缺乏奖励信号而失败。
• 在基于视觉的任务中，GMPS实现了卷积策略的稳定训练，并在最终性能和样本效率方面优于MAML和单任务强化学习。
• GMPS在保留的验证任务上显著优于多任务模仿微调，展现出更强的适应能力。
• 该方法即使在高维视觉观测空间中，也能仅用少量梯度下降步骤即实现策略对新目标的快速适应。
• 在元训练期间使用演示可减少探索挑战，并在稀疏奖励设置中实现有效的元优化。