[论文解读] Learning Abstract Options

Matthew Riemer, Miao Liu+1 more|arXiv (Cornell University)|Jan 1, 2018

Reinforcement Learning in Robotics被引用 30

一句话总结

本文提出了一种深度分层选项评论家框架，可在无需内在奖励或子目标的情况下，实现跨多时间分辨率的端到端学习。通过将策略梯度定理扩展至任意深度的选项层次结构，该方法学习内部策略、终止条件及组合结构，在离散和连续控制环境中均展现出更高的样本效率。

ABSTRACT

Building systems that autonomously create temporal abstractions from data is a key challenge in scaling learning and planning in reinforcement learning. One popular approach for addressing this challenge is the options framework (Sutton et al., 1999). However, only recently in (Bacon et al., 2017) was a policy gradient theorem derived for online learning of general purpose options in an end to end fashion. In this work, we extend previous work on this topic that only focuses on learning a two-level hierarchy including options and primitive actions to enable learning simultaneously at multiple resolutions in time. We achieve this by considering an arbitrarily deep hierarchy of options where high level temporally extended options are composed of lower level options with finer resolutions in time. We extend results from (Bacon et al., 2017) and derive policy gradient theorems for a deep hierarchy of options. Our proposed hierarchical option-critic architecture is capable of learning internal policies, termination conditions, and hierarchical compositions over options without the need for any intrinsic rewards or subgoals. Our empirical results in both discrete and continuous environments demonstrate the efficiency of our framework.

研究动机与目标

• 为解决强化学习的可扩展性挑战，实现跨多时间分辨率的自主时间抽象学习。
• 将选项框架从两层结构扩展至支持任意深度的选项组合。
• 推导适用于深度选项层次结构的策略梯度定理，实现内部策略和终止条件的端到端训练。
• 消除在学习分层选项时对内在奖励或手动指定子目标的依赖。
• 在多样化环境中展示所提出框架的效率与可扩展性。

提出的方法

• 本文将Bacon等人（2017）的策略梯度定理扩展至支持深度选项层次结构，实现跨多层时间抽象的基于梯度的学习。
• 提出一种分层选项评论家架构，联合学习各层级的选项策略、终止条件及组合结构。
• 该框架支持任意深度的层次结构，其中高层选项由具有更细时间分辨率的低层选项组合而成。
• 该方法以端到端方式运行，无需辅助监督或内在奖励，同时训练所有组件——策略、终止条件及组合结构。
• 该架构采用一种信用分配机制，通过分层选项结构反向传播梯度，以同步优化所有组件。

实验结果

研究问题

• RQ1 分层选项评论家框架是否能在不依赖内在奖励或子目标的情况下，学习跨多时间分辨率的时序扩展选项？
• RQ2 所提出的策略梯度定理在超越两层结构的深度选项层次结构中如何泛化？
• RQ3 分层组合对复杂环境中样本效率和学习性能有何影响？
• RQ4 该框架在离散和连续控制任务中，对不同层次的时间抽象扩展性如何？

主要发现

• 所提出的框架成功在无内在奖励或子目标的情况下，学习了多时间分辨率下的内部策略、终止条件及分层组合结构。
• 由于采用多分辨率时间抽象，该方法在离散和连续控制环境中均实现了更高的样本效率。
• 深度分层结构相比平坦或浅层选项结构，实现了更有效的信用分配并加速了收敛。
• 实验结果证实，该框架在多样化环境中具有良好的泛化能力，展现出在分层强化学习中的鲁棒性与可扩展性。