[论文解读] Domain and Modality Gaps for LiDAR-based Person Detection on Mobile Robots.

Dan Jia, Alexander Hermans+1 more|arXiv (Cornell University)|Jun 21, 2021

Video Surveillance and Tracking Methods参考文献 34被引用 8

一句话总结

本文研究了面向移动机器人基于激光雷达的人体检测中领域与模态差异的问题，使用JackRabbot数据集评估了最先进的3D（CenterPoint）和2D（DR-SPAAM）检测器。研究发现，基于驾驶数据集预训练的模型在近距离、动态的移动机器人场景中泛化能力较差，尽管计算成本更高，3D检测器在准确性和鲁棒性方面仍优于2D检测器。

ABSTRACT

Person detection is a crucial task for mobile robots navigating in human-populated environments and LiDAR sensors are promising for this task, given their accurate depth measurements and large field of view. This paper studies existing LiDAR-based person detectors with a particular focus on mobile robot scenarios (e.g. service robot or social robot), where persons are observed more frequently and in much closer ranges, compared to the driving scenarios. We conduct a series of experiments, using the recently released JackRabbot dataset and the state-of-the-art detectors based on 3D or 2D LiDAR sensors (CenterPoint and DR-SPAAM respectively). These experiments revolve around the domain gap between driving and mobile robot scenarios, as well as the modality gap between 3D and 2D LiDAR sensors. For the domain gap, we aim to understand if detectors pretrained on driving datasets can achieve good performance on the mobile robot scenarios, for which there are currently no trained models readily available. For the modality gap, we compare detectors that use 3D or 2D LiDAR, from various aspects, including performance, runtime, localization accuracy, robustness to range and crowdedness. The results from our experiments provide practical insights into LiDAR-based person detection and facilitate informed decisions for relevant mobile robot designs and applications.

研究动机与目标

• 评估现有基于激光雷达的人体检测器在与传统驾驶环境显著不同的移动机器人场景中的性能。
• 通过在移动机器人数据上测试在驾驶数据集上预训练的检测器，研究驾驶与移动机器人场景之间的领域差异。
• 比较3D与2D基于激光雷达的检测器在近距离、拥挤且动态的移动机器人环境中的性能、准确性和鲁棒性。
• 通过识别当前基于激光雷达检测方法的关键局限与优势，为移动机器人的设计与部署提供实用洞见。

提出的方法

• 在新发布的JackRabbot数据集上评估最先进的3D（CenterPoint）和2D（DR-SPAAM）基于激光雷达的人体检测器，该数据集捕捉了移动机器人环境中典型的近距离、动态人类交互。
• 在JackRabbot数据集上进行检测器的训练与推理，以评估将驾驶数据集预训练的模型迁移到移动机器人场景时的零样本和微调性能。
• 定量比较3D与2D激光雷达模态在检测性能、定位精度、推理速度以及对距离和场景密度变化的鲁棒性方面的表现。
• 通过测量将驾驶数据集训练的模型应用于移动机器人场景时的性能下降，分析领域偏移的影响。
• 对模态特异性行为进行消融研究，包括对遮挡、距离以及3D与2D激光雷达表示之间传感器分辨率差异的敏感性。
• 使用标准检测指标（如mAP、精确率、召回率）和运行时测量，评估准确率与效率之间的权衡。

实验结果

研究问题

• RQ1 基于驾驶数据集预训练的激光雷达人体检测器在具有近距离、动态人类交互的移动机器人场景中泛化程度如何？
• RQ2 在不同环境条件下，3D激光雷达检测器与2D激光雷达检测器在检测准确性、定位精度和鲁棒性方面有何差异？
• RQ3 在移动机器人应用中，3D与2D激光雷达模态之间的关键性能权衡是什么，特别是推理速度以及对距离和人群密度的敏感性？
• RQ4 在基于激光雷达的人体检测中，驾驶与移动机器人场景之间的领域差距有多大，这对模型迁移与部署有何影响？

主要发现

• 在驾驶数据集上预训练的检测器在应用于移动机器人场景时表现出显著的性能下降，表明存在显著的领域差距。
• 基于3D激光雷达的检测器（如CenterPoint）在拥挤和近距离条件下比2D检测器（如DR-SPAAM）具有更高的检测准确率和更好的定位精度。
• 2D激光雷达检测器表现出更快的推理速度，但对距离和遮挡更敏感，导致在复杂环境中鲁棒性降低。
• 在mAP方面，领域差距显著，若不进行微调，从驾驶数据集迁移到移动机器人数据集时性能下降超过20%。
• 3D检测器对场景密度和距离变化表现出更优的鲁棒性，在短距离（<2m）下仍能保持稳定性能，而2D检测器在此类条件下表现困难。
• 在移动机器人数据上进行微调能显著提升检测性能，尤其对初始在驾驶数据上训练的模型而言，凸显了领域特定适应的重要性。