[论文解读] MVLidarNet: Real-Time Multi-Class Scene Understanding for Autonomous Driving Using Multiple Views

Ke Chen, Ryan Oldja+6 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Neural Network Applications参考文献 23被引用 7

一句话总结

MVLidarNet 是一种两阶段、多视角的深度学习系统，通过单个 LiDARD 扫描的透视图和鸟瞰图投影，实现实时、多类别目标检测（车辆和行人）以及可行驶区域分割。通过在编码器-解码器架构中结合透视图中的语义分割与鸟瞰图中的目标检测，该方法在嵌入式 GPU 上实现了 150 fps 的推理速度，同时在每帧包含超过 100 个动态物体的复杂场景中保持了高精度。

ABSTRACT

Autonomous driving requires the inference of actionable information such as detecting and classifying objects, and determining the drivable space. To this end, we present Multi-View LidarNet (MVLidarNet), a two-stage deep neural network for multi-class object detection and drivable space segmentation using multiple views of a single LiDAR point cloud. The first stage processes the point cloud projected onto a perspective view in order to semantically segment the scene. The second stage then processes the point cloud (along with semantic labels from the first stage) projected onto a bird's eye view, to detect and classify objects. Both stages use an encoder-decoder architecture. We show that our multi-view, multi-stage, multi-class approach is able to detect and classify objects while simultaneously determining the drivable space using a single LiDAR scan as input, in challenging scenes with more than one hundred vehicles and pedestrians at a time. The system operates efficiently at 150 fps on an embedded GPU designed for a self-driving car, including a postprocessing step to maintain identities over time. We show results on both KITTI and a much larger internal dataset, thus demonstrating the method's ability to scale by an order of magnitude.

研究动机与目标

• 解决仅使用 LiDAR 数据实现实时、多类别感知的挑战。
• 通过在透视图中利用语义分割，提升对小尺寸、难检测目标（如行人）的检测精度。
• 利用单个 LiDAR 扫描，同时实现可行驶区域分割与多类别目标检测。
• 在不依赖复杂数据增强的前提下，在嵌入式硬件上实现高推理速度（150 fps）。
• 在每帧包含超过 100 辆车辆和行人的高度拥挤场景中实现稳健扩展。

提出的方法

• 第一阶段使用 LiDAR 点云的透视图投影，通过编码器-解码器网络执行语义分割。
• 第二阶段将同一组点云投影至鸟瞰图（BEV），并将第一阶段的语义标签与高度特征结合用于目标检测。
• 两个阶段均采用编码器-解码器架构，以保留空间上下文信息并支持密集预测。
• 系统处理单个 LiDAR 扫描，实现实时检测与分类车辆和行人，同时分割可行驶区域。
• 应用后处理以保持跨帧的目标身份一致性，确保时间连续性。
• 网络在 KITTI 和一个包含数十万次扫描的内部大规模数据集上进行端到端训练。

实验结果

研究问题

• RQ1 与单视角方法相比，使用透视图和鸟瞰图双视角投影的两阶段多视角网络是否能提升多类别 LiDAR 目标检测的精度？
• RQ2 在透视图中引入语义分割是否能增强对小尺寸、低可见度目标（如行人）的检测能力？
• RQ3 一个统一的神经网络能否高效地同时检测多类别目标并分割可行驶区域？
• RQ4 在极端场景复杂度下（如每帧包含超过 100 个动态物体），系统性能如何？
• RQ5 在真实世界自动驾驶数据上，该架构在速度与精度方面相较于现有方法的优越程度如何？

主要发现

• 系统在嵌入式 GPU 上实现了 150 fps 的推理速度，显著优于以往方法的推理速度。
• 在 KITTI 数据集上，MVLidarNet 对易识别车辆的平均精度（AP）达到 89.27，与最佳现有方法（89.66）相当，但推理时间仅为 6.8 ms（对比 16 ms）。
• 在包含超过 12.3 万个行人的内部数据集上，该方法在 0–10 m IoU 下对行人的 AP 达到 72.29%，显著优于仅使用高度信息的自顶向下基线方法（51.75%）。
• 消融实验表明，将语义分割与 BEV 检测结合，可在短距离（0–10 m）将行人检测精度提升 20.5 个百分点。
• 系统成功处理每帧包含超过 100 辆车辆和行人的场景，证明其在高度复杂真实场景中的可扩展性。
• 在更高分辨率的 Velodyne VLS-128 数据集上，该方法在 0–10 m IoU 下对行人的 AP 达到 88.89%，展现出在不同传感器配置下的强泛化能力。