[论文解读] Socially Compliant Navigation through Raw Depth Inputs with Generative Adversarial Imitation Learning

Lei Tai, Jingwei Zhang+2 more|arXiv (Cornell University)|Oct 6, 2017

Reinforcement Learning in Robotics被引用 13

一句话总结

本文提出了一种生成对抗模仿学习（GAIL）方法，使移动机器人仅使用原始深度图像即可在动态环境中实现安全且符合社交规范的导航，无需精确的行人状态估计。该方法通过建模专家示范中的时序依赖性，改进了行为克隆（BC），在仿真和真实机器人平台（Turtlebot）上的部署中均实现了更优的安全性和效率，并具备实时性能。

ABSTRACT

We present an approach for mobile robots to learn to navigate in dynamic environments with pedestrians via raw depth inputs, in a socially compliant manner. To achieve this, we adopt a generative adversarial imitation learning (GAIL) strategy, which improves upon a pre-trained behavior cloning policy. Our approach overcomes the disadvantages of previous methods, as they heavily depend on the full knowledge of the location and velocity information of nearby pedestrians, which not only requires specific sensors, but also the extraction of such state information from raw sensory input could consume much computation time. In this paper, our proposed GAIL-based model performs directly on raw depth inputs and plans in real-time. Experiments show that our GAIL-based approach greatly improves the safety and efficiency of the behavior of mobile robots from pure behavior cloning. The real-world deployment also shows that our method is capable of guiding autonomous vehicles to navigate in a socially compliant manner directly through raw depth inputs. In addition, we release a simulation plugin for modeling pedestrian behaviors based on the social force model.

研究动机与目标

• 解决在动态环境中实现符合社交规范导航的挑战，即机器人需对行人做出反应并避免碰撞。
• 克服先前方法依赖精确行人定位与速度数据的局限，这些数据通常需要昂贵的传感器（如3D LiDAR）获取。
• 仅使用低成本深度摄像头的原始深度图像实现实时导航，提升真实场景部署的可行性。
• 开发一种学习框架，捕捉专家轨迹中的时序相关性，从而提升策略泛化能力，超越逐帧的行为克隆。
• 发布基于社交力模型的仿真插件与数据集，以支持未来相关研究。

提出的方法

• 采用行为克隆（BC）作为预训练策略，从专家示范中初始化导航策略。
• 应用生成对抗模仿学习（GAIL）通过建模专家轨迹的潜在马尔可夫决策过程，进一步优化BC策略。
• 在GAIL中使用判别器区分专家轨迹与生成轨迹，促使智能体模仿符合社交规范的行为。
• 将原始深度图像（从Intel Realsense R200裁剪为400×250）作为策略网络的输入，实现从视觉输入到策略输出的端到端学习。
• 在基于社交力模型模拟行人动力学的10,000组状态-动作对数据集上训练策略。
• 在Turtlebot waffle平台上部署最终的GAIL策略，使用NVIDIA Jetson TX2实现实时推理（15Hz）

实验结果

研究问题

• RQ1 基于GAIL的策略能否在不依赖显式行人状态信息的情况下，直接从原始深度图像中学习到符合社交规范的导航行为？
• RQ2 在靠近行人导航时，GAIL相较于行为克隆在安全性与路径效率方面有何提升？
• RQ3 在仅使用原始深度输入的情况下，仿真中训练的策略在真实动态环境中能多大程度上实现泛化？
• RQ4 所提出的仿真插件与数据集在建模真实行人交互方面对训练与评估的效用如何？
• RQ5 在多样化的社交导航场景中，安全性（最小距离）与效率（行程时间）之间存在怎样的性能权衡？

主要发现

• GAIL策略在所有六个仿真场景中显著提升了安全性，实现了比行为克隆基线更大的平均最小距离（min-dist）。
• 在大多数场景中，GAIL策略规划了更高效的路径，行程时间更短，仅在两个简单场景中BC略快。
• 定性分析显示，GAIL策略成功在行人之间穿行（场景d）并成功脱离人群（场景e），而BC策略在这些情况下失败。
• 在Turtlebot waffle上的真实世界实验表明，GAIL策略仅使用原始深度图像和15Hz实时推理，即可实现符合社交规范的导航。
• 该方法有效应对真实机器人中视场受限与低速运动限制的问题，展现出在传感器与执行器性能受限条件下的鲁棒性。
• 基于社交力模型发布的仿真插件与数据集，可实现符合社交规范导航策略的一致且可复现的训练与评估。