[论文解读] Dynamically Feasible Deep Reinforcement Learning Policy for Robot Navigation in Dense Mobile Crowds

Utsav Patel, Nithish Kumar+2 more|arXiv (Cornell University)|Oct 28, 2020

Robotic Locomotion and Control被引用 8

一句话总结

本论文提出DWA-RL，一种结合动态窗口法（DWA）与深度强化学习（DRL）的混合深度强化学习策略，用于在密集移动人群环境中生成动态可行、平滑且具备空间感知能力的机器人速度。通过使用编码过去可行速度与障碍物代价的低维观测空间，以及一种鼓励避开障碍物运动方向的新颖奖励函数，DWA-RL相较于最先进方法，将碰撞率降低高达33%，动力学约束违规率降低高达61%。

ABSTRACT

We present a novel Deep Reinforcement Learning (DRL) based policy to compute dynamically feasible and spatially aware velocities for a robot navigating among mobile obstacles. Our approach combines the benefits of the Dynamic Window Approach (DWA) in terms of satisfying the robot's dynamics constraints with state-of-the-art DRL-based navigation methods that can handle moving obstacles and pedestrians well. Our formulation achieves these goals by embedding the environmental obstacles' motions in a novel low-dimensional observation space. It also uses a novel reward function to positively reinforce velocities that move the robot away from the obstacle's heading direction leading to significantly lower number of collisions. We evaluate our method in realistic 3-D simulated environments and on a real differential drive robot in challenging dense indoor scenarios with several walking pedestrians. We compare our method with state-of-the-art collision avoidance methods and observe significant improvements in terms of success rate (up to 33\\% increase), number of dynamics constraint violations (up to 61\\% decrease), and smoothness. We also conduct ablation studies to highlight the advantages of our observation space formulation, and reward structure.

研究动机与目标

• 解决在密集移动障碍物环境中生成动态可行且平滑机器人速度的挑战。
• 相比经典DWA与最先进的DRL导航方法，提升动态场景下的碰撞规避能力。
• 通过使用低维、具备物理感知的观测空间，减少训练时间并提升仿真到现实的迁移性能。
• 通过设计奖励函数以偏好远离移动障碍物行进方向的机动，增强空间感知能力。
• 确保在导航过程中始终满足机器人的动力学约束（加速度与非完整约束）。

提出的方法

• 该方法采用一种新颖的低维观测空间，由机器人过去n个时间步内的可行速度集合及障碍物/目标对齐代价组成，保留了DWA的动力学可行性保证。
• 将障碍物运动的时间演化过程嵌入观测空间，使策略能够更有效地预测并响应移动障碍物。
• 设计了一种自定义奖励函数，以正向强化远离障碍物行进方向的速度，促进具备空间感知能力的导航。
• 通过卷积神经网络，利用深度强化学习训练策略，将观测映射为动态可行的控制指令。
• 该方法确保所有生成的速度均位于机器人的物理极限内（最大/最小线速度与角速度），从而保证轨迹的平滑性与可执行性。
• 该方法在高保真3D仿真环境及真实差速驱动机器人（使用2D激光雷达）上进行了评估，展示了鲁棒的仿真到现实迁移能力。

实验结果

研究问题

• RQ1 能否训练一种基于DRL的策略，使其在密集移动人群环境中生成满足机器人运动学约束的动态可行速度？
• RQ2 与RGB或深度图像等高维输入相比，低维、随时间演化的观测空间在碰撞规避与训练效率方面有何提升？
• RQ3 一种鼓励避开障碍物运动方向的奖励函数在多大程度上降低了碰撞率？
• RQ4 所提出的方法在成功率、轨迹平滑性与约束合规性方面，能否优于经典DWA与最先进的DRL导航方法？
• RQ5 该方法在真实动态室内环境中进行仿真到现实部署时表现如何？

主要发现

• 在密集动态环境中，DWA-RL相较于DWA实现了33%更高的成功率，显著降低了碰撞率。
• 与最先进的DRL方法相比，该方法将动力学约束违规率降低了高达61%，确保了更平滑、更真实的轨迹。
• 4矩阵观测空间设计（分别编码障碍物与目标代价）优于3矩阵版本（代价矩阵求和），在之字形场景中将成功率从0.82提升至1.0。
• 速度轨迹图证实，该策略生成的速度始终位于机器人物理极限范围内，而基线方法则频繁违反这些约束。
• 由于采用低维观测空间，训练时间显著减少，且策略在Turtlebot 2机器人上从仿真到现实的部署中表现出良好的泛化能力。
• 消融实验表明，新颖的观测空间与奖励函数设计均对性能至关重要，两者均显著提升了碰撞规避能力与动态可行性。