[论文解读] Learning with Stochastic Guidance for Navigation

Linhai Xie, Yishu Miao+6 more|arXiv (Cornell University)|Nov 27, 2018

Reinforcement Learning in Robotics参考文献 8被引用 4

一句话总结

本文提出了一种随机引导框架，使深度强化学习智能体在训练过程中能够动态切换高方差探索（通过DDPG）与低方差启发式控制器（如PID、避障）之间。通过使用REINFORCE联合训练随机切换机制与DDPG，该方法显著降低了训练方差，加速了策略学习，并在导航性能上优于当前最先进基线方法，且成功实现了零样本迁移至真实世界环境。

ABSTRACT

Due to the sparse rewards and high degree of environment variation, reinforcement learning approaches such as Deep Deterministic Policy Gradient (DDPG) are plagued by issues of high variance when applied in complex real world environments. We present a new framework for overcoming these issues by incorporating a stochastic switch, allowing an agent to choose between high and low variance policies. The stochastic switch can be jointly trained with the original DDPG in the same framework. In this paper, we demonstrate the power of the framework in a navigation task, where the robot can dynamically choose to learn through exploration, or to use the output of a heuristic controller as guidance. Instead of starting from completely random moves, the navigation capability of a robot can be quickly bootstrapped by several simple independent controllers. The experimental results show that with the aid of stochastic guidance we are able to effectively and efficiently train DDPG navigation policies and achieve significantly better performance than state-of-the-art baselines models.

研究动机与目标

• 解决DDPG在复杂、高维导航环境中稀疏奖励下训练方差高、样本效率差的问题。
• 通过引入低方差启发式控制器作为动态引导，实现DDPG策略更快、更稳定的训练。
• 在启发式引导的引导下，使DDPG策略最终能够独立运行。
• 实现通过仿真训练的策略零样本迁移至真实世界机器人导航任务。

提出的方法

• 引入一种随机切换机制，以概率方式从DDPG策略或独立的启发式控制器（PID与避障）中选择动作。
• 通过REINFORCE策略梯度算法训练该切换机制，以最大化累积回报，实现上下文相关的控制器选择。
• DDPG智能体从随机切换机制选择的动作中学习，而非从其自身策略输出中学习，从而在训练初期降低梯度方差。
• 框架使用一个三层卷积神经网络处理深度摄像头观测，生成状态输入的几何表征。
• 切换函数作为基于完整传感器输入的神经网络实现，允许根据环境上下文自适应选择控制器。
• 在DDPG策略达到足够性能后，系统支持逐步停用启发式控制器，实现自主运行。

实验结果

研究问题

• RQ1 随机切换机制是否能提升DDPG在复杂导航任务中的样本效率与训练稳定性？
• RQ2 与基线DDPG相比，探索与启发式引导之间的动态切换对最终导航性能有何影响？
• RQ3 在无需进一步微调的情况下，通过随机引导训练的DDPG策略在真实世界环境中能多大程度上实现泛化？
• RQ4 训练后，DDPG策略是否能有效独立测试，表明其已成功内化引导策略？
• RQ5 启发式控制器的选择如何影响DDPG策略的最终性能与泛化能力？

主要发现

• 所提框架在导航性能上显著优于当前最先进DDPG基线方法，收敛更快且训练方差更低。
• 模型成功从仿真环境零样本迁移至Turtlebot与深度摄像头的真实世界环境，实现多个目标的无碰撞导航，无需重新训练。
• 训练后DDPG策略可独立测试，表明其已学会自主执行导航，不再依赖外部控制器。
• 该框架展现出强大的泛化能力，受益于多个独立控制器（如PID与OA），且随着更多启发式策略的引入，性能持续提升。
• 当DDPG策略变得足够胜任时，系统能自动减少对启发式控制器的依赖，表明引导策略已有效内化。
• 消融实验确认，随机切换机制优于均匀随机切换与argmax切换，验证了所学习切换策略的有效性。