[论文解读] Analyzing General-Purpose Deep-Learning Detection and Segmentation Models with Images from a Lidar as a Camera Sensor

Xianjia Yu, Sahar Salimpour+2 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Optical Sensing Technologies被引用 5

一句话总结

本文评估了通用深度学习模型——目标检测器和实例/语义分割器——在由激光雷达传感器生成的低分辨率、360°图像上的表现，将激光雷达视为摄像头使用。通过适当的预处理，YOLOx 和 HRNet 等模型表现出色（例如，在室内环境中实现 95.3% 的行人检测准确率），证明了激光雷达生成的图像能够有效利用成熟的基于视觉的深度学习模型，在复杂环境中实现鲁棒感知。

ABSTRACT

Over the last decade, robotic perception algorithms have significantly benefited from the rapid advances in deep learning (DL). Indeed, a significant amount of the autonomy stack of different commercial and research platforms relies on DL for situational awareness, especially vision sensors. This work explores the potential of general-purpose DL perception algorithms, specifically detection and segmentation neural networks, for processing image-like outputs of advanced lidar sensors. Rather than processing the three-dimensional point cloud data, this is, to the best of our knowledge, the first work to focus on low-resolution images with 360 extdegree field of view obtained with lidar sensors by encoding either depth, reflectivity, or near-infrared light in the image pixels. We show that with adequate preprocessing, general-purpose DL models can process these images, opening the door to their usage in environmental conditions where vision sensors present inherent limitations. We provide both a qualitative and quantitative analysis of the performance of a variety of neural network architectures. We believe that using DL models built for visual cameras offers significant advantages due to the much wider availability and maturity compared to point cloud-based perception.

研究动机与目标

• 探究为摄像头图像设计的通用深度学习模型是否可有效应用于 360° 激光雷达生成的图像。
• 评估最先进目标检测与分割模型在低分辨率、深度编码激光雷达图像上的表现。
• 确定激光雷达传感器是否可兼具双重角色——提供几何点云和类似摄像头的图像——而无需额外硬件。
• 评估在将激光雷达图像作为输入时，预处理对模型性能的影响。
• 探索是否可重用预训练的视觉模型用于激光雷达感知，从而减少对专用点云模型的依赖。

提出的方法

• 从两台视场角和测距范围不同的 Ouster 激光雷达采集了室内和室外环境下的 360° 激光雷达图像，涵盖白天和夜晚的数据采集。
• 通过插值对低分辨率激光雷达图像进行预处理，以提升空间分辨率，使其与标准基于视觉的深度学习模型兼容。
• 评估了四种目标检测模型：Faster R-CNN、Mask R-CNN、YOLOv5 和 YOLOx，涵盖单阶段与两阶段检测架构。
• 评估了三种实例与语义分割模型：HRNet、PointRend 和 Mask R-CNN，均以 ResNet-50 作为主干网络。
• 使用精确率、召回率和检测准确率等指标，对真实场景进行了定性和定量分析。
• 已将所有实验数据与结果发布至公开的 GitHub 仓库，以支持可复现性与进一步基准测试。

实验结果

研究问题

• RQ1 是否可有效利用为 RGB 图像训练的通用深度学习模型，在低分辨率、360° 激光雷达生成的图像中实现对象检测与分割？
• RQ2 YOLOv5、YOLOx、Faster R-CNN 和 Mask R-CNN 在激光雷达作为摄像头的图像上，于室内与室外环境中表现如何比较？
• RQ3 预处理（如插值）对这些模型的检测与分割准确率有何影响？
• RQ4 HRNet 和 PointRend 等语义与实例分割模型在激光雷达生成的图像上的表现，与传统点云方法相比如何？
• RQ5 在多大程度上可重用预训练的视觉模型用于激光雷达感知，从而减少对专用点云学习框架的依赖？

主要发现

• YOLOx 表现最佳，室内行人检测准确率达 95.3%，室外为 63.3%。
• 所有模型在室外均检测到超过 80% 的车辆，在室内均检测到超过 80% 的行人，表明在多种环境下具备强大基线性能。
• YOLOv5 和 YOLOx 在额外物体类别（如停车标志、消防栓和手提包）上表现出相近的准确率，尽管未在表格中完全量化。
• HRNet 在室内与室外场景中均生成了高质量的语义分割结果，如定性示例所示。
• PointRend 和 Mask R-CNN 展现出有前景的实例分割性能，在复杂场景中能清晰预测物体边界。
• 本研究证实，通过插值进行预处理可显著提升低分辨率激光雷达图像上模型的性能，从而有效利用预训练视觉模型。