[论文解读] Learning and Exploiting Multiple Subgoals for Fast Exploration in Hierarchical Reinforcement Learning

Libo Xing|arXiv (Cornell University)|May 13, 2019

Reinforcement Learning in Robotics参考文献 16被引用 5

一句话总结

该论文提出了一种多目标层次强化学习（HRL）算法，通过同时使用从数据中学习到的多个子目标（像素控制、特征控制和方向控制）来提升稀疏奖励环境中的探索效率，而无需人工设计。该方法显著减少了训练时间，同时在Atari的Montezuma's Revenge环境中达到了最先进性能，即使在子目标非最优的情况下也表现出更快的收敛速度和更强的鲁棒性。

ABSTRACT

Hierarchical Reinforcement Learning (HRL) exploits temporally extended actions, or options, to make decisions from a higher-dimensional perspective to alleviate the sparse reward problem, one of the most challenging problems in reinforcement learning. The majority of existing HRL algorithms require either significant manual design with respect to the specific environment or enormous exploration to automatically learn options from data. To achieve fast exploration without using manual design, we devise a multi-goal HRL algorithm, consisting of a high-level policy Manager and a low-level policy Worker. The Manager provides the Worker multiple subgoals at each time step. Each subgoal corresponds to an option to control the environment. Although the agent may show some confusion at the beginning of training since it is guided by three diverse subgoals, the agent's behavior policy will quickly learn how to respond to multiple subgoals from the high-level controller on different occasions. By exploiting multiple subgoals, the exploration efficiency is significantly improved. We conduct experiments in Atari's Montezuma's Revenge environment, a well-known sparse reward environment, and in doing so achieve the same performance as state-of-the-art HRL methods with substantially reduced training time cost.

研究动机与目标

• 解决强化学习中稀疏奖励的挑战，即由于奖励稀疏且延迟，智能体难以学习。
• 克服现有HRL方法依赖人工设计子目标或探索效率低下的局限性。
• 通过同时利用多个子目标来提升复杂环境中的探索效率，且无需依赖特定环境的先验知识。
• 证明多目标引导可提升学习速度和鲁棒性，即使部分子目标无效亦能保持良好表现。

提出的方法

• 引入两级HRL架构，包含高层的Manager策略和低层的Worker策略，其中Manager在每个时间步生成多个子目标。
• 定义三种子目标类型：像素控制（操控特定像素）、特征控制（控制学习到的视觉特征）和方向控制（控制移动方向），所有子目标均从数据中学习。
• 使用源自多个子目标的内在奖励来训练Worker策略，使其能够并行学习多样化行为。
• 在Manager中为每个子目标使用独立的演员-评论家网络，实现独立优化，同时共享同一数据流。
• 采用多目标探索策略，使Worker同时受到所有子目标引导，而非仅选择一个，以加速策略学习。
• 设计子目标使其具备泛化能力且与环境无关，最大限度减少人工工程依赖。

实验结果

研究问题

• RQ1 与单子目标HRL相比，同时使用多个数据学习的子目标是否能提升稀疏奖励环境中探索效率？
• RQ2 在Montezuma's Revenge等环境中，多目标HRL智能体的性能与最先进HRL及非层次化RL方法相比如何？
• RQ3 所提出的多目标框架对无效或随机子目标的引入是否具有鲁棒性？
• RQ4 子目标数量在多大程度上影响学习速度和最终性能？

主要发现

• 在Montezuma's Revenge环境中，所提出的多目标HRL智能体达到了与最先进HRL方法相当的最大得分，但训练时间显著减少，证明了其更高的探索效率。
• 在Alien环境中，三子目标智能体在相同训练步数内达到的得分接近FuN和特征控制智能体的两倍。
• 当子目标从三个减少到一个时，训练效率显著下降——尤其在Montezuma's Revenge中表现明显，证实了多子目标设置的必要性。
• 引入一个随机（无效）子目标仅导致性能轻微下降，表明该算法对无效子目标仍具有鲁棒性。
• 在Frostbite环境中，三子目标智能体的性能与Option-critic和特征控制智能体相当，尽管略逊于FuN，显示出在不同环境中的强泛化能力。
• 该方法在稀疏奖励设置下优于非层次化Ape-X，凸显了多目标引导的层次化结构的优势。