[论文解读] Meta-Model-Based Meta-Policy Optimization

T. HIRAOKA, Takahisa Imagawa+4 more|arXiv (Cornell University)|Jun 4, 2020

Reinforcement Learning in Robotics参考文献 41被引用 4

一句话总结

本文提出元模型-基于元策略优化（M3PO），一种基于模型的元强化学习方法，通过将Janner等人（2019）的定理扩展至元强化学习设置，提供了理论性能保证。M3PO在元模型中使用分支轨迹以提升样本效率和泛化能力，在连续控制基准测试中优于先前方法（如PEARL和M2PO），尤其在长期适应和方向控制任务中表现更优。

ABSTRACT

Model-based meta-reinforcement learning (RL) methods have recently been shown to be a promising approach to improving the sample efficiency of RL in multi-task settings. However, the theoretical understanding of those methods is yet to be established, and there is currently no theoretical guarantee of their performance in a real-world environment. In this paper, we analyze the performance guarantee of model-based meta-RL methods by extending the theorems proposed by Janner et al. (2019). On the basis of our theoretical results, we propose Meta-Model-Based Meta-Policy Optimization (M3PO), a model-based meta-RL method with a performance guarantee. We demonstrate that M3PO outperforms existing meta-RL methods in continuous-control benchmarks.

研究动机与目标

• 为解决基于模型的元强化学习方法缺乏理论性能保证的问题，尽管其在实践中表现强劲，但常受模型偏差影响。
• 将Janner等人（2019）关于基于模型轨迹的理论框架扩展至元强化学习设置，特别是针对部分可观察的马尔可夫决策过程（POMDPs）。
• 设计一种实用的元强化学习算法，利用理论保证提升多任务强化学习中的样本效率和鲁棒性。
• 通过实证验证，基于元模型的模型适应可显著提升元策略性能，尤其在长时程和多方向控制任务中。

提出的方法

• 将元强化学习问题形式化为POMDP的特例，以支持基于模型轨迹的理论分析。
• 将Janner等人（2019）的性能保证定理扩展至元强化学习，比较分支轨迹与全模型轨迹的性能。
• 提出M3PO，一种实用算法，利用上下文感知的元模型和分支轨迹进行动作规划，并具备理论性能边界。
• 通过超参数β实现元模型影响的渐进适应调度，以稳定训练并提升长期性能。
• 采用集成高斯模型表示转移动态，并结合元学习的上下文使用模型预测控制（MPC），实现快速适应。
• 将M3PO与M2PO（非自适应模型基线）和PEARL对比，以隔离元模型适应的影响。

实验结果

研究问题

• RQ1 能否将标准强化学习中基于模型轨迹的理论性能保证扩展至元强化学习设置？
• RQ2 在元强化学习中，分支轨迹是否比全模型轨迹具有更紧致的性能保证？这一优势是否足以支持其使用？
• RQ3 通过元模型实现的模型适应是否能显著提升元策略在长时程和多方向控制任务中的性能？
• RQ4 元模型的渐进适应如何影响训练稳定性和最终性能？
• RQ5 元模型与基础模型在实现样本效率和鲁棒性方面，各自的相对贡献是什么？

主要发现

• 在Halfcheetah-pier、Walker2D-randomparams和Humanoid-direc任务中，M3PO在长期训练中优于PEARL和M2PO，最终回报达到相当或更优水平。
• 渐进适应调度（M3PO-h）显著提升了长期性能，在三个环境中均匹配或超越PEARL的性能表现。
• M3PO在Humanoid-direc中成功实现方向控制，而M2PO失败并学习到一种‘站立’策略，原因在于缺乏自适应动态。
• M2PO在早期训练平台期表现出更低的TD误差，表明其非自适应模型在某些情况下能提供更稳定的优化。
• 在Halfcheetah-fwd-bwd和方向控制任务中，元模型的使用显著提升了性能，证明了动态适应的价值。
• 理论分析确认，在元强化学习中，分支轨迹相比全模型轨迹提供了更紧致的性能保证，从而为M3PO中使用分支轨迹提供了理论依据。