[论文解读] Exploration-efficient Deep Reinforcement Learning with Demonstration Guidance for Robot Control

Ke Lin, Liang Gong+7 more|arXiv (Cornell University)|Feb 27, 2020

Reinforcement Learning in Robotics参考文献 33被引用 6

一句话总结

该论文提出 DRL-EG，一种样本高效的深度强化学习方法，通过判别器和引导网络，利用少量专家演示来引导探索，显著提升了连续控制任务中的样本效率和训练稳定性。该方法使智能体能够逃离局部最优解，在 Ant-v2 和 MountainCarContinuous 等稀疏奖励环境中优于 SAC、PPO 和 DDPGfD。

ABSTRACT

Although deep reinforcement learning (DRL) algorithms have made important achievements in many control tasks, they still suffer from the problems of sample inefficiency and unstable training process, which are usually caused by sparse rewards. Recently, some reinforcement learning from demonstration (RLfD) methods have shown to be promising in overcoming these problems. However, they usually require considerable demonstrations. In order to tackle these challenges, on the basis of the SAC algorithm we propose a sample efficient DRL-EG (DRL with efficient guidance) algorithm, in which a discriminator D(s) and a guider G(s) are modeled by a small number of expert demonstrations. The discriminator will determine the appropriate guidance states and the guider will guide agents to better exploration in the training phase. Empirical evaluation results from several continuous control tasks verify the effectiveness and performance improvements of our method over other RL and RLfD counterparts. Experiments results also show that DRL-EG can help the agent to escape from a local optimum.

研究动机与目标

• 解决深度强化学习（DRL）在连续控制任务中样本效率低下和训练不稳定的问题。
• 克服稀疏奖励带来的有效探索与策略学习障碍。
• 在保持性能提升的同时，减少对大规模专家演示的依赖。
• 在训练过程中使智能体能够逃离局部最优解，从而提升最终策略质量。
• 开发一种将专家指导整合到探索阶段的方法，而无需预训练或仅依赖经验回放缓冲区注入。

提出的方法

• 提出一个判别器 $D(s)$，用于评估引导器 $G(s)$ 是否能为状态 $s$ 提供高质量动作。
• 引入一个引导器 $G(s)$，从少量专家演示中训练，用于在高回报状态中建议动作。
• 将判别器-引导器机制集成到软 actor-critic（SAC）框架中，以在训练期间引导探索。
• 采用基于神经网络的架构实现 $D(s)$ 和 $G(s)$，支持从专家轨迹中端到端学习。
• 根据判别器对引导器输出的置信度，动态切换策略驱动动作与引导器驱动动作。
• 利用最大熵强化学习原理，在引导智能体向高回报区域前进的同时保持探索能力。

实验结果

研究问题

• RQ1 少量专家演示是否能有效提升 DRL 在连续控制任务中的样本效率？
• RQ2 与标准 DRL 算法（如 SAC 和 PPO）相比，判别器-引导器机制在探索方面有何增强作用？
• RQ3 所提方法在稀疏奖励环境中帮助智能体逃离局部最优解的程度如何？
• RQ4 引导探索机制是否提升了在 Ant-v2 等复杂环境中的训练稳定性？
• RQ5 在最终回报和收敛速度方面，DRL-EG 与预训练和演示注入基线方法相比表现如何？

主要发现

• 在 Ant-v2 和 MountainCarContinuous 环境中，DRL-EG 超过了 SAC、PPO、PPO 预训练版本以及 DDPGfD，实现了更高的最终回报。
• 在 Ant-v2 环境中，DRL-EG 达到了与专家演示相当的性能，而 SAC 和 DDPGfD 展现出训练不稳定和收敛性差的问题。
• 在 Ant-v2 环境中，该方法成功帮助智能体在 4 个随机种子中的 3 个逃离了局部最优解，而 SAC 则始终被困住。
• 在 Hopper 和 HalfCheetah 环境中，DRL-EG 相较于 SAC 仅表现出微弱优势，表明该引导机制在稀疏奖励或高复杂度环境中效益最为显著。
• DRL-EG 展现出更优的训练稳定性，尤其在 Ant-v2 等非平稳环境中，此前微小的策略变化曾导致性能崩溃。
• 判别器-引导器机制即使在稀疏奖励使标准 DRL 方法失效的情况下，也能实现有效探索，如在 MountainCarContinuous 任务中，SAC 和 PPO 均获得零回报。