[论文解读] Hierarchical Imitation and Reinforcement Learning

Hoang Le, Nan Jiang+4 more|arXiv (Cornell University)|Mar 1, 2018

Reinforcement Learning in Robotics参考文献 36被引用 27

一句话总结

本文提出层级引导（hierarchical guidance）框架，通过在分层策略的不同层级上整合模仿学习（IL）与强化学习（RL），在长时程、稀疏奖励环境中降低专家工作量与探索成本。该方法仅在子任务未掌握且处于相关状态区域时，利用高层专家反馈指导低层学习，从而实现比分层RL与标准IL更快的学习速度和更高的标签效率，实验结果在《蒙特祖马的复仇》和一个复杂迷宫环境中得到验证。

ABSTRACT

We study how to effectively leverage expert feedback to learn sequential decision-making policies. We focus on problems with sparse rewards and long time horizons, which typically pose significant challenges in reinforcement learning. We propose an algorithmic framework, called hierarchical guidance, that leverages the hierarchical structure of the underlying problem to integrate different modes of expert interaction. Our framework can incorporate different combinations of imitation learning (IL) and reinforcement learning (RL) at different levels, leading to dramatic reductions in both expert effort and cost of exploration. Using long-horizon benchmarks, including Montezuma's Revenge, we demonstrate that our approach can learn significantly faster than hierarchical RL, and be significantly more label-efficient than standard IL. We also theoretically analyze labeling cost for certain instantiations of our framework.

研究动机与目标

• 解决长时程、稀疏奖励任务中强化学习的样本效率低下问题。
• 通过利用分层任务结构，降低模仿学习中的专家工作量与标注成本。
• 将高层专家反馈与低层强化学习相结合，提升样本效率。
• 开发一种聚焦于相关状态区域、且仅在子任务尚未掌握时进行学习的框架。
• 证明层级引导可实现比纯分层RL或标准IL更快的学习速度与更高的标签效率。

提出的方法

• 提出一种层级引导框架，利用高层专家反馈指导低层策略学习。
• 将该框架应用于纯模仿学习（如分层引导的行为克隆与DAgger）以及混合IL/RL设置。
• 在高层使用元控制器选择子任务，而低层策略在环境中执行这些子任务。
• 仅在当前子任务属于最优轨迹的状态区域中进行低层学习，从而提升样本效率。
• 实现一种延迟经验回放缓冲区，仅在智能体首次获得正向伪奖励后才开始，加速长时程设置下的学习。
• 当成功率超过90%时终止子策略训练，确保稳定收敛并减少不必要的训练。

实验结果

研究问题

• RQ1 如何利用层级结构降低长时程任务中模仿学习的专家标注成本？
• RQ2 将高层IL与低层RL结合，是否能实现比纯分层RL更快的学习速度与更好的样本效率？
• RQ3 聚焦于低层学习的相关状态区域，相比全状态学习，如何提升样本效率？
• RQ4 层级引导在稀疏奖励与长规划时序环境中对性能有何影响？
• RQ5 高层专家反馈是否能减少对低层专家监督的需求，同时保持或提升学习速度？

主要发现

• 所提出的层级引导框架通过仅对未掌握的子任务和相关状态区域提供反馈，显著降低了专家工作量。
• 在《蒙特祖马的复仇》环境中，混合IL/RL方法（hg-DAgger/Q）的学习速度更快，性能优于h-DQN这一基线分层RL方法。
• 子目标4（开门）最具挑战性，因其时序较长，但该方法仍通过聚焦学习与延迟经验回放实现了成功。
• 该方法通过初始专家提供的子目标序列与检测器实现自动标注，将所需高层标签数量大幅减少。
• 子目标1–3的执行成功率超过90%，表明其快速掌握；子目标4虽需更多训练，但在框架下仍实现收敛。
• 即使将h-DQN的子目标数量减少至两个，该框架仍表现更优，凸显层级引导相比朴素分层RL的优势。