[论文解读] Deep Person Detection in 2D Range Data

Lucas Beyer, Alexander Hermans+3 more|arXiv (Cornell University)|Apr 6, 2018

Human Pose and Action Recognition参考文献 14被引用 5

一句话总结

该论文将DROW深度学习检测器扩展至2D激光测距数据中的人体检测，引入了改进的后处理方法以提升置信度分数和检测定位精度，并通过小型时间窗口实现在线时序上下文整合。该方法在新发布的、大规模的真实世界2D测距数据人体标注数据集上，相较于最强基线模型，AUC提升了10.3%。

ABSTRACT

Detecting humans is a key skill for mobile robots and intelligent vehicles in a large variety of applications. While the problem is well studied for certain sensory modalities such as image data, few works exist that address this detection task using 2D range data. However, a widespread sensory setup for many mobile robots in service and domestic applications contains a horizontally mounted 2D laser scanner. Detecting people from 2D range data is challenging due to the speed and dynamics of human leg motion and the high levels of occlusion and self-occlusion particularly in crowds of people. While previous approaches mostly relied on handcrafted features, we recently developed the deep learning based wheelchair and walker detector DROW. In this paper, we show the generalization to people, including small modifications that significantly boost DROW's performance. Additionally, by providing a small, fully online temporal window in our network, we further boost our score. We extend the DROW dataset with person annotations, making this the largest dataset of person annotations in 2D range data, recorded during several days in a real-world environment with high diversity. Extensive experiments with three current baseline methods indicate it is a challenging dataset, on which our improved DROW detector beats the current state-of-the-art.

研究动机与目标

• 解决在稀疏2D激光测距数据中检测人体的挑战，这是服务机器人和自动驾驶车辆中常见的传感器模态。
• 克服基于手工特征的方法以及双足跟踪假设在遮挡或衣物变化下失效的局限性。
• 开发一种基于深度学习的多类别检测器（DROW），能够从2D测距扫描中同时检测人体、轮椅和助行器。
• 通过增强后处理和在线时序上下文整合，提升检测性能。
• 创建并发布目前公开可用的最大规模的真实世界环境中采集的2D测距数据中人体标注数据集。

提出的方法

• 将DROW检测器扩展以包含新的“人体”类别，同时保持其端到端学习框架用于2D测距扫描。
• 改进原始基于投票的后处理方法，以支持每检测结果的置信度估计，并减少离散化伪影。
• 略微增大卷积神经网络（CNN）架构尺寸，以提升特征表示能力。
• 引入一个完全在线的时间窗口，将多个最近的激光扫描输入网络进行联合处理。
• 采用早期融合策略，在网络内部结合空间与时序信息，避免使用独立的跟踪模块。
• 采用简单但有效的融合机制，将当前扫描与若干先前扫描相结合，利用里程计实现时序对齐。

实验结果

研究问题

• RQ1 像DROW这样的基于深度学习的检测器能否有效泛化至2D测距数据中的人体检测，而不仅限于其原始关注的轮椅和助行器？
• RQ2 从近期激光扫描中整合时序上下文，如何提升对稀疏表示的人体的检测性能？
• RQ3 改进的后处理方法若能实现置信度估计和更精细的定位，是否优于原始DROW的投票方案？
• RQ4 在真实世界、多样化数据集上，该方法与最先进的人工设计特征和基于跟踪的基线方法相比表现如何？
• RQ5 在2D测距数据中，时序上下文的引入在多大程度上缓解了稀疏性和遮挡带来的挑战？

主要发现

• 扩展后的DROW检测器在新数据集上相较于最强基线模型，AUC绝对提升10.3%，确立了新的最先进水平。
• 改进的后处理方法实现了有意义的置信度分数，并减少了检测的离散化现象，从而带来更准确、更可靠的预测。
• 整合一个小型在线时序窗口（包含近期扫描）显著提升了性能，尤其在人体和行走辅助设备检测中表现突出，证明了时序建模的价值。
• 该方法在更严格的定位标准（0.3米半径）下仍保持强劲性能，优于受卡尔曼滤波延迟影响的双足跟踪基线方法。
• 该数据集包含超过1,000帧标注数据，涵盖多样的真实世界条件，是目前公开可用的最大规模的2D测距数据中人体检测数据集。
• 通过Hyperopt进行超参数调优得到了非直观的参数值，但模型仍保持鲁棒性，表明其具备强大的泛化能力和适应性。