[论文解读] Socially Aware Motion Planning with Deep Reinforcement Learning

Yu Fan Chen, Michael Everett+2 more|arXiv (Cornell University)|Mar 26, 2017

Autonomous Vehicle Technology and Safety参考文献 22被引用 42

一句话总结

本文提出 SA-CADRL，一种深度强化学习框架，通过奖励塑形惩罚规范违反行为（而非模仿人类特征）来学习社交合规行为（如右侧通行），使机器人车辆能够在行人密集环境中安全且自然地导航。该方法在动态室内环境中实现了以人类步行速度（1.2 m/s）实时、完全自主的导航，且人工干预极少。

ABSTRACT

For robotic vehicles to navigate safely and efficiently in pedestrian-rich environments, it is important to model subtle human behaviors and navigation rules (e.g., passing on the right). However, while instinctive to humans, socially compliant navigation is still difficult to quantify due to the stochasticity in people's behaviors. Existing works are mostly focused on using feature-matching techniques to describe and imitate human paths, but often do not generalize well since the feature values can vary from person to person, and even run to run. This work notes that while it is challenging to directly specify the details of what to do (precise mechanisms of human navigation), it is straightforward to specify what not to do (violations of social norms). Specifically, using deep reinforcement learning, this work develops a time-efficient navigation policy that respects common social norms. The proposed method is shown to enable fully autonomous navigation of a robotic vehicle moving at human walking speed in an environment with many pedestrians.

研究动机与目标

• 开发一种尊重人类导航规范（如右侧通行、左侧超车）的社会意识运动规划系统。
• 克服模仿学习中特征匹配方法的局限性，这些方法在应对行为随机性以及个体与场景间泛化能力不足方面表现不佳。
• 设计一种可扩展、对称的深度强化学习架构，使其能泛化至多智能体（n > 2）导航场景。
• 在真实行人环境中实现机器人车辆以人类步行速度实时、完全自主的导航。
• 验证社交合规行为可自然地从仅惩罚规范违反的强化学习框架中的合作避碰机制中涌现，而无需显式行为克隆。

提出的方法

• 该方法使用深度强化学习训练策略，以最大化累积稀疏奖励，同时惩罚违反社交规范的行为（如不安全接近或错误的超车行为）。
• 采用对称神经网络架构，确保对智能体身份的不变性，从而实现对 n > 2 个智能体的多智能体场景的泛化。
• 状态表示包括来自 LiDAR 和立体摄像头数据的附近行人相对位置、速度及估计尺寸（含舒适区域）。
• 动作空间由基于扩散图的全局规划器计算出的自由空间方向集合中选择的可行速度矢量组成。
• 设计奖励函数以惩罚碰撞和不安全接近（例如小于 1m），同时鼓励向子目标前进并遵守右侧通行规范。
• 系统在嵌入式硬件上以 10 Hz 实时运行，结合感知（LiDAR、Realsense、网络摄像头）、占用栅格地图构建以及通过 SA-CADRL 进行局部规划。

实验结果

研究问题

• RQ1 深度强化学习策略能否在不显式模仿人类轨迹或特征的情况下，学习到如右侧通行等社交合规导航行为？
• RQ2 如何将合作避碰策略推广至多智能体场景（n > 2），同时保持对称性与可扩展性？
• RQ3 此类策略能否实现在动态、行人密集的室内环境中以人类步行速度实时、完全自主的导航？
• RQ4 与传统模仿学习方法相比，缺乏显式特征匹配（如最小间距）是否能带来更好的泛化性能？
• RQ5 仅通过惩罚规范违反行为的奖励函数，能否自然地使社交合规行为涌现，而无需建模详细的行为机制？

主要发现

• SA-CADRL 策略成功使机器人车辆在行人密集的室内环境中以 1.2 m/s 的速度实现自主导航，该速度与人类平均步行速度一致。
• 在十次自主运行中，平均目标距离超过 50 米，每分钟平均遭遇 10.2 名行人进入 2 米范围内，全程无需安全驾驶员干预。
• 机器人始终在右侧通过行人并在左侧超车，展示了对右撇子社交规范的遵守，且未进行显式的行为克隆。
• 系统在嵌入式硬件（Gigabyte Brix）上以 10 Hz 实时运行，证实了其在真实世界部署中的计算可行性。
• 对称神经网络架构在多智能体场景中实现了稳定且可泛化的行为，避免了基于模型的方法常见的振荡路径问题。
• 基于奖励的方法优于特征匹配的模仿学习，避免了对行人行为随机性及轨迹统计特征变化的敏感性。