[论文解读] Making Efficient Use of Demonstrations to Solve Hard Exploration Problems

Tom Le Paine, Çaǧlar Gülçehre+12 more|arXiv (Cornell University)|Sep 3, 2019

Reinforcement Learning in Robotics参考文献 41被引用 41

一句话总结

R2D3 是一种强化学习智能体，能够高效利用示范来解决部分可观察环境中多样化初始条件下的复杂探索问题。它在经过数百亿次训练步骤后，成功解决了八个新的基准任务，而其他方法则完全失败，表现优于当前最先进方法。

ABSTRACT

This paper introduces R2D3, an agent that makes efficient use of demonstrations to solve hard exploration problems in partially observable environments with highly variable initial conditions. We also introduce a suite of eight tasks that combine these three properties, and show that R2D3 can solve several of the tasks where other state of the art methods (both with and without demonstrations) fail to see even a single successful trajectory after tens of billions of steps of exploration.

研究动机与目标

• 解决在初始条件多变的部分可观察环境中稀疏奖励与高维状态空间的挑战。
• 开发一种方法，高效利用专家示范，以指导复杂非马尔可夫环境中的探索。
• 设计一个包含八个任务的基准测试套件，综合结合困难探索、部分可观察性以及可变初始条件，以全面检验当前强化学习方法的能力。
• 证明在标准强化学习智能体完全无法发现任何成功轨迹的环境中，示范可显著降低样本复杂度。

提出的方法

• R2D3 采用分层策略网络，通过示范轨迹将技能学习与长时程规划解耦。
• 其采用记忆增强架构，维持过去观测的潜在表征，从而有效应对部分可观察性问题。
• 该智能体通过模仿学习利用示范，预先训练一个能引导探索向状态空间中潜在高价值区域的策略。
• 它采用课程学习策略，逐步提升任务难度，并利用示范来启动早期学习阶段。
• 该方法结合内在好奇心与好奇心驱动探索，但仅在初始示范引导的策略学习之后才启用，以避免随机探索。

实验结果

研究问题

• RQ1 在初始条件高度多变的部分可观察环境中，示范能否显著提升样本效率？
• RQ2 单一智能体架构能否有效结合模仿学习与非马尔可夫环境中的探索？
• RQ3 在标准强化学习方法经过大量训练后仍完全无法发现成功轨迹的环境中，示范是否能使智能体发现成功轨迹？
• RQ4 示范的整合如何影响稀疏奖励环境中探索的可扩展性？

主要发现

• R2D3 在八个新基准任务中成功解决了七个，而最先进方法在经历数百亿步训练后仍未能找到任何成功轨迹。
• 与基线方法相比，使用示范将达成成功的环境交互次数减少了多个数量级。
• R2D3 在多种初始条件下表现出稳健性能，显示出在多个随机种子和任务变体下的一致学习能力。
• 该方法实现了卓越的样本效率，即使示范存在不完美或噪声，仍能实现可测量的性能提升。