[论文解读] Data-efficient Hindsight Off-policy Option Learning

Markus Wulfmeier, Dushyant Rao+9 more|arXiv (Cornell University)|May 4, 2021

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出Hindsight Off-policy Options（HO2），一种通过off-policy更新和可微分动态规划推理，将策略优化与行为策略解耦的off-policy选项学习算法。HO2表明，off-policy学习显著提升了数据效率，即使在使用平坦策略的情况下也优于on-policy选项方法，并表明在从原始像素输入的复杂机器人操作任务中，动作抽象和时间抽象均至关重要。

ABSTRACT

Hierarchical approaches for reinforcement learning aim to improve data efficiency and accelerate learning by incorporating different abstractions. We introduce Hindsight Off-policy Options (HO2), an efficient off-policy option learning algorithm, and isolate the impact of action and temporal abstraction in the option framework by comparing flat policies, mixture policies without temporal abstraction, and finally option policies; all with comparable policy optimization. When aiming for data efficiency, we demonstrate the importance of off-policy optimization, as even flat policies trained off-policy can outperform on-policy option methods. In addition, off-policy training and backpropagation through a dynamic programming inference procedure -- through time and through the policy components for every time-step -- enable us to train all components' parameters independently of the data-generating behavior policy. We continue to illustrate challenges in off-policy option learning and the related importance of trust-region constraints. Experimentally, we demonstrate that HO2 outperforms existing option learning methods and that both action and temporal abstraction provide strong benefits in particular in more demanding simulated robot manipulation tasks from raw pixel inputs. Finally, we develop an intuitive extension to encourage temporal abstraction and investigate differences in its impact between learning from scratch and using pre-trained options.

研究动机与目标

• 通过将off-policy学习与选项框架相结合，提升分层强化学习中的数据效率。
• 分离并量化动作抽象与时间抽象在选项学习中的贡献。
• 解决off-policy选项学习中的挑战，特别是由分布偏移引起的问题。
• 开发一种方法，通过时间反向传播和策略组件的反向传播，实现选项组件的端到端、独立训练。
• 研究预训练选项和时间抽象在预训练与微调场景下对学习效率的影响。

提出的方法

• 提出Hindsight Off-policy Options（HO2），一种通过off-policy更新将策略优化与行为策略解耦的off-policy算法。
• 采用可微分动态规划推理，以在每个时间步实现时间反向传播和策略组件间的反向传播。
• 实现所有选项参数（策略、终止条件和价值函数）的独立训练，无需依赖on-policy轨迹。
• 应用信任区域约束以稳定训练，并缓解off-policy选项学习中的分布偏移问题。
• 通过课程学习机制扩展框架，以在训练过程中鼓励时间抽象。
• 在模拟机器人操作任务中使用原始像素观测，评估在高维、真实输入下的性能。

实验结果

研究问题

• RQ1 与on-policy方法相比，off-policy学习在选项学习中对数据效率的影响如何？
• RQ2 在复杂控制任务中，动作抽象与时间抽象各自对性能的独立贡献有多大？
• RQ3 通过动态规划推理的反向传播，能否实现选项组件的稳定且高效训练？
• RQ4 信任区域约束如何影响off-policy选项学习的稳定性和性能？
• RQ5 通过预训练选项并鼓励时间抽象，是否能实现更快收敛和更高的样本效率？

主要发现

• off-policy训练显著提升了数据效率，即使使用平坦策略进行off-policy训练，其性能也优于on-policy选项方法。
• 在从原始像素输入的复杂模拟机器人操作任务中，动作抽象与时间抽象均提供了显著优势。
• HO2在复杂控制基准测试中，无论是样本效率还是最终性能，均优于现有选项学习方法。
• 信任区域约束对于稳定off-policy选项学习至关重要，可防止灾难性策略更新。
• 所提方法通过时间反向传播和策略组件的反向传播，实现了选项组件的端到端训练，支持独立优化。
• 通过课程学习鼓励时间抽象，可实现更快收敛和性能提升，尤其在使用预训练选项时效果更显著。