[论文解读] Local Search for Policy Iteration in Continuous Control

Jost Tobias Springenberg, Nicolas Heess+11 more|arXiv (Cornell University)|Oct 12, 2020

Reinforcement Learning in Robotics参考文献 55被引用 8

一句话总结

本文提出 TreePI，一种用于连续控制中局部、正则化策略改进的统一框架，整合了无模型与基于模型的强化学习。通过在策略改进过程中利用学习到的或精确的环境模型进行树搜索，该方法在数据效率和实际运行速度方面表现优异，尤其在高保真模型可用时优势显著。

ABSTRACT

We present an algorithm for local, regularized, policy improvement in reinforcement learning (RL) that allows us to formulate model-based and model-free variants in a single framework. Our algorithm can be interpreted as a natural extension of work on KL-regularized RL and introduces a form of tree search for continuous action spaces. We demonstrate that additional computation spent on model-based policy improvement during learning can improve data efficiency, and confirm that model-based policy improvement during action selection can also be beneficial. Quantitatively, our algorithm improves data efficiency on several continuous control benchmarks (when a model is learned in parallel), and it provides significant improvements in wall-clock time in high-dimensional domains (when a ground truth model is available). The unified framework also helps us to better understand the space of model-based and model-free algorithms. In particular, we demonstrate that some benefits attributed to model-based RL can be obtained without a model, simply by utilizing more computation.

研究动机与目标

• 回答额外计算是否可替代基于模型的学习以提升数据效率的问题。
• 研究在学习和动作选择过程中使用环境模型进行策略改进的优势。
• 开发一种统一框架，实现连续控制中无模型与基于模型组件的灵活结合。
• 证明当准确模型可用时，基于模型的搜索可显著加速学习过程。
• 阐明计算在策略优化中的作用，表明更多计算可带来与基于模型方法相似的收益。

提出的方法

• 构建一种 KL 正则化策略迭代框架，将策略改进、学习与执行分离。
• 提出 TreePI，一种基于模型的变体，通过近似或精确的环境模型在连续动作空间中执行局部树搜索。
• 采用类似蒙特卡洛树搜索的备份方式，对软 Q 值进行近似，以指导策略更新。
• 支持参数化策略、价值函数与模型的灵活集成，支持无模型与基于模型的变体。
• 在包含学习模型与真实模型的连续控制基准上应用该框架。
• 使用正则化策略梯度优化策略，通过基于搜索的更新改进策略改进步骤。

实验结果

研究问题

• RQ1 在策略学习过程中增加计算量是否可替代对模型的需求，同时实现与基于模型方法相当的数据效率？
• RQ2 在训练期间使用学习模型进行策略改进是否能提升数据效率，相比无模型基线方法？
• RQ3 在动作选择过程中使用基于模型的树搜索是否能提升数据效率与学习速度？
• RQ4 在推理阶段使用高保真模型进行局部搜索时，与高吞吐量的无模型训练相比，是否存在计算权衡优势？
• RQ5 统一框架是否能有效在连续控制中实现无模型与基于模型方法之间的插值？

主要发现

• 使用学习模型进行基于模型的策略改进，相比最先进无模型算法，显著提升了数据效率。
• 当使用真实模型时，动作选择阶段的局部搜索可将实际运行训练时间减少至无分布式无模型方法的 1/5。
• 即使没有模型，通过增加策略更新次数，TreePI 也能实现数据效率的提升——表明计算可替代模型使用。
• TreePI 在高维连续控制任务中，对精确与近似环境模型均表现出稳健性能。
• 该框架揭示，部分原本归因于基于模型强化学习的优势，可通过单纯增加计算量获得，而无需依赖模型。
• 统一框架有助于更深入理解连续控制中基于模型与无模型方法之间的权衡。