[论文解读] LMNet: Real-time Multiclass Object Detection on CPU using 3D LiDAR

Kazuki Minemura, Hengfui Liau+2 more|arXiv (Cornell University)|May 13, 2018

Advanced Neural Network Applications参考文献 21被引用 9

一句话总结

LMNet 是一种实时、单阶段的 3D 目标检测网络，仅使用 3D 激光雷达点云在 CPU 上检测车辆、行人和自行车。它采用空洞卷积和多视角点云投影，可在 GPU 上实现高达 50 FPS 的性能，在 Intel Core i5 CPU 上实现 10 FPS 的性能，适用于实时自动驾驶系统，且模型和代码已开源。

ABSTRACT

This paper describes an optimized single-stage deep convolutional neural network to detect objects in urban environments, using nothing more than point cloud data. This feature enables our method to work regardless the time of the day and the lighting conditions.The proposed network structure employs dilated convolutions to gradually increase the perceptive field as depth increases, this helps to reduce the computation time by about 30%. The network input consists of five perspective representations of the unorganized point cloud data. The network outputs an objectness map and the bounding box offset values for each point. Our experiments showed that using reflection, range, and the position on each of the three axes helped to improve the location and orientation of the output bounding box. We carried out quantitative evaluations with the help of the KITTI dataset evaluation server. It achieved the fastest processing speed among the other contenders, making it suitable for real-time applications. We implemented and tested it on a real vehicle with a Velodyne HDL-64 mounted on top of it. We achieved execution times as fast as 50 FPS using desktop GPUs, and up to 10 FPS on a single Intel Core i5 CPU. The deploy implementation is open-sourced and it can be found as a feature branch inside the autonomous driving framework Autoware. Code is available at: https://github.com/CPFL/Autoware/tree/feature/cnn_lidar_detection

研究动机与目标

• 开发一种仅使用激光雷达点云数据的实时、多类别 3D 目标检测系统，用于在通用 CPU 上部署。
• 在不牺牲检测精度的前提下实现高推理速度，从而在自动驾驶系统中实现实时性能。
• 设计一种轻量级、单阶段的 CNN 架构，通过多视角投影和空洞卷积处理 3D 点云。
• 在配备 Velodyne HDL-64E 激光雷达的真实车辆上实现并验证该网络。
• 开源预训练模型和推理代码，以促进更广泛的研究与部署应用。

提出的方法

• 网络接收五通道输入表示的无序点云：距离、反射强度以及 x、y、z 坐标，投影为 2D 透视视图。
• 使用自定义的空洞卷积层堆叠，其空洞率依次增加（1, 1, 2, 4, 8, 16, 32），以逐步扩展感受野，同时减少计算量。
• 网络输出每个点的物体存在性图和 3D 边界框偏移预测，实现逐点分类与回归。
• 训练期间应用丢弃策略和数据增强，以提高泛化能力并减少过拟合。
• 使用基于 Intel MKL 优化的 Caffe 分支实现模型，可在通用硬件上实现高效推理。
• 输入预处理包括使用 PCL 和 OpenCV 进行点云投影，输出通过非极大值抑制后处理生成最终检测结果。

Figure 1: LMNet architecture

实验结果

研究问题

• RQ1 单阶段 CNN 是否能够在通用 CPU 上仅使用激光雷达点云数据实现 3D 多类别目标检测的实时性能？
• RQ2 空洞卷积架构如何在不牺牲精度的前提下提升推理速度并扩大感受野覆盖范围？
• RQ3 与 KITTI 等基准数据集相比，该模型在真实世界数据上的表现如何？
• RQ4 该网络是否能在消费级硬件上实现低于 30ms 的推理时间，同时保持高检测精度？
• RQ5 多视角输入编码（距离、反射强度和空间坐标）如何影响边界框定位与方向预测？

主要发现

• LMNet 在 GTX 1080 GPU 上实现 50 FPS 的推理速度，在 Intel Core i5-6600K CPU 上实现 10 FPS，证明其在通用硬件上的实时能力。
• 在 KITTI 数据集的中等设置下，该模型在 3D 检测中的平均精度分别为：车辆 15.24%，行人 11.46%，自行车 3.23%。
• 使用空洞卷积使感受野扩大至 127×127，同时相比标准卷积将计算量减少了约 30%。
• 在 Tesla P40 上实现 147 FPS（6.8ms 推理时间），在速度上优于其他最先进方法。
• 在配备 Velodyne HDL-64E 激光雷达的真实车辆上，LMNet 成功实现实时 3D 目标分类与检测，验证了其部署可行性。
• 在 Autoware 中开源的实现以及预训练模型的提供，使得研究可复现性增强，并推动了自动驾驶研究中的广泛应用。

Figure 2: Encoded input point cloud