[论文解读] On Reward Shaping for Mobile Robot Navigation: A Reinforcement Learning and SLAM Based Approach

Nicolò Botteghi, Beril Sırmaçek+3 more|arXiv (Cornell University)|Feb 10, 2020

Robotic Path Planning Algorithms参考文献 14被引用 18

一句话总结

本文提出了一种无需地图的深度强化学习（DRL）导航策略，用于移动机器人，该策略在训练过程中利用SLAM生成的障碍物知识来塑造奖励函数。通过将基于地图的实时障碍物确定性纳入奖励函数，智能体在未见过的环境中学习到更安全、更高效的导航策略，训练收敛速度提升36.9%，成功率提高23–45%，并成功实现零样本迁移至真实机器人。

ABSTRACT

We present a map-less path planning algorithm based on Deep Reinforcement Learning (DRL) for mobile robots navigating in unknown environment that only relies on 40-dimensional raw laser data and odometry information. The planner is trained using a reward function shaped based on the online knowledge of the map of the training environment, obtained using grid-based Rao-Blackwellized particle filter, in an attempt to enhance the obstacle awareness of the agent. The agent is trained in a complex simulated environment and evaluated in two unseen ones. We show that the policy trained using the introduced reward function not only outperforms standard reward functions in terms of convergence speed, by a reduction of 36.9\% of the iteration steps, and reduction of the collision samples, but it also drastically improves the behaviour of the agent in unseen environments, respectively by 23\% in a simpler workspace and by 45\% in a more clustered one. Furthermore, the policy trained in the simulation environment can be directly and successfully transferred to the real robot. A video of our experiments can be found at: https://youtu.be/UEV7W6e6ZqI

研究动机与目标

• 通过深度强化学习改进无地图移动机器人导航的样本效率与泛化能力。
• 通过在训练过程中引入SLAM生成的实时障碍物感知，解决DRL中稀疏奖励的局限性。
• 实现在无微调情况下，将仿真环境中的策略零样本迁移至真实世界差速驱动机器人。
• 通过基于障碍物距离与确定性的奖励函数塑造，提升避障能力与路径质量。
• 证明仅在训练阶段使用地图知识即可显著提升在未见过环境中的性能。

提出的方法

• 使用原始40D激光扫描和里程计作为输入，训练基于深度确定性策略梯度（DDPG）的智能体。
• 基于网格的Rao-Blackwellized粒子滤波器在训练过程中在线执行SLAM，以估计地图和障碍物确定性。
• 利用传感器视场内障碍物距离的倒数作为奖励函数，权重为地图后验确定性。
• 地图仅在训练阶段使用；评估或真实世界部署期间不使用地图。
• 智能体通过在仿真环境中与环境进行试错交互，学习连续的速度指令（线速度与角速度）。
• 训练好的策略直接迁移至真实世界的Clearpath Jackal机器人，无需任何超参数调整或真实世界微调。

实验结果

研究问题

• RQ1 将实时SLAM生成的障碍物确定性整合到DRL奖励函数中，是否能提升无地图导航中的学习速度与收敛性能？
• RQ2 在训练阶段基于地图知识进行奖励塑造，是否能增强对未见过的复杂环境的泛化能力？
• RQ3 在仿真环境中训练的DRL策略是否能无需微调即成功导航真实世界环境？
• RQ4 与标准稀疏奖励相比，所提出的奖励塑造方法在减少碰撞与提升路径质量方面表现如何？
• RQ5 奖励函数中引入障碍物感知在多大程度上能带来更安全、更高效的导航行为？

主要发现

• 所提方法相比标准稀疏奖励函数，将训练迭代步数减少了36.9%。
• 在主要训练环境（Env-1）中，智能体的成功率比标准方法高出25%。
• 在未见过的环境中，成功率为23%（在更简单的作业空间Env-2中）和45%（在更密集的环境Env-3中）的提升。
• 在Env-1中，达到目标所需的平均动作数减少了42.7；在Env-2和Env-3中分别减少了64.2和13.2。
• 该策略成功从仿真环境零样本迁移至真实世界的Clearpath Jackal机器人，实现了无碰撞导航，且无需任何真实世界微调。
• 将基于地图的障碍物确定性整合到奖励函数中，使智能体能够学习到更安全的行为，例如在无直接地图访问的情况下提前避开障碍物。