[论文解读] LidarMultiNet: Towards a Unified Multi-Task Network for LiDAR Perception

Dongqiangzi Ye, Zixiang Zhou+5 more|arXiv (Cornell University)|Sep 19, 2022

Advanced Neural Network Applications被引用 6

一句话总结

LidarMultiNet 提出了一种统一的、端到端的3D LiDAR感知网络，通过共享的基于体素的编码器-解码器主干网络并结合全局上下文聚合（GCP）模块，联合执行3D目标检测、语义分割和全景分割。该方法在五个主要基准测试中达到最先进性能，包括在Waymo 2022年3D语义分割挑战赛中获得第一名，mIoU达到82.0，并在nuScenes和Waymo检测基准上取得新的最先进结果。

ABSTRACT

LiDAR-based 3D object detection, semantic segmentation, and panoptic segmentation are usually implemented in specialized networks with distinctive architectures that are difficult to adapt to each other. This paper presents LidarMultiNet, a LiDAR-based multi-task network that unifies these three major LiDAR perception tasks. Among its many benefits, a multi-task network can reduce the overall cost by sharing weights and computation among multiple tasks. However, it typically underperforms compared to independently combined single-task models. The proposed LidarMultiNet aims to bridge the performance gap between the multi-task network and multiple single-task networks. At the core of LidarMultiNet is a strong 3D voxel-based encoder-decoder architecture with a Global Context Pooling (GCP) module extracting global contextual features from a LiDAR frame. Task-specific heads are added on top of the network to perform the three LiDAR perception tasks. More tasks can be implemented simply by adding new task-specific heads while introducing little additional cost. A second stage is also proposed to refine the first-stage segmentation and generate accurate panoptic segmentation results. LidarMultiNet is extensively tested on both Waymo Open Dataset and nuScenes dataset, demonstrating for the first time that major LiDAR perception tasks can be unified in a single strong network that is trained end-to-end and achieves state-of-the-art performance. Notably, LidarMultiNet reaches the official 1st place in the Waymo Open Dataset 3D semantic segmentation challenge 2022 with the highest mIoU and the best accuracy for most of the 22 classes on the test set, using only LiDAR points as input. It also sets the new state-of-the-art for a single model on the Waymo 3D object detection benchmark and three nuScenes benchmarks.

研究动机与目标

• 将三种主要的LiDAR感知任务——3D目标检测、语义分割和全景分割——统一到一个单一的多任务网络中，以降低计算成本并提升效率。
• 通过增强全局特征学习和任务协同性，弥合多任务网络与专用单任务模型在LiDAR感知中的性能差距。
• 通过添加轻量级任务特定头模块，实现对新感知任务的可扩展性，同时保持极低的计算开销。
• 仅使用LiDAR输入，在大规模基准如Waymo开放数据集和nuScenes上实现最先进性能。
• 证明跨任务联合训练可提升特征表示能力和分割精度，尤其通过两阶段优化过程。

提出的方法

• 采用基于3D体素的编码器-解码器架构，结合子流形和标准稀疏卷积，高效处理LiDAR点云数据。
• 引入全局上下文聚合（GCP）模块，聚合稀疏3D张量中的全局上下文特征，以增强长距离依赖学习能力。
• 在共享主干网络之上部署任务特定头模块，分别用于3D目标检测、语义分割和全景分割。
• 应用两阶段优化机制：第一阶段生成初始预测，第二阶段对前景语义分割结果进行精细化处理，以生成高精度的全景分割输出。
• 使用推理时增强（TTA）技术，包括几何变换（翻转、旋转、缩放、平移）以及7种模型变体的模型集成，以进一步提升性能。
• 采用端到端训练方式，联合优化所有任务，利用共享特征提升模型泛化能力。

实验结果

研究问题

• RQ1 是否能够通过仅使用LiDAR输入的统一多任务网络，在3D目标检测、语义分割和全景分割任务中均实现最先进性能？
• RQ2 全局上下文聚合（GCP）模块在稀疏3D卷积网络中如何提升LiDAR感知的特征表示能力？
• RQ3 两阶段优化过程在不依赖专用全景分割头的情况下，能在多大程度上提升全景分割的精度？
• RQ4 跨多个感知任务的联合训练是否能带来优于单任务模型的性能表现，特别是在mIoU和PQ指标上？
• RQ5 多任务网络是否能在保持高效率的同时，在准确率和推理速度上均超越单任务模型？

主要发现

• LidarMultiNet 在Waymo开放数据集2022年3D语义分割挑战赛中获得官方第一名，仅使用LiDAR输入，在测试集上mIoU达到82.0。
• 在Waymo 3D目标检测基准上，LidarMultiNet 以最高的mAPH L2得分刷新单模型最先进记录。
• 在nuScenes数据集上，LidarMultiNet 在3D语义分割和全景分割任务中均取得新的最先进结果，超越此前最先进方法。
• 第二阶段优化模块使nuScenes验证集上的mIoU从81.7提升至82.0，PQ从81.2提升至81.8，证明其有效性。
• 在nuScenes上第一阶段推理时间仅为126ms，在Waymo上为145ms（使用A100 GPU），总模型大小为135MB，展现出优异的效率。
• 通过推理时增强和7个模型的集成，LidarMultiNet 进一部提升了性能，证实了该架构的鲁棒性与可扩展性。