[论文解读] MASS: Multi-Attentional Semantic Segmentation of LiDAR Data for Dense Top-View Understanding

Kunyu Peng, Juncong Fei+7 more|arXiv (Cornell University)|Jul 1, 2021

Advanced Neural Network Applications被引用 4

一句话总结

MASS 提出了一种用于激光雷达数据密集俯视语义分割的多注意力深度学习框架，通过支柱特征和三种注意力机制——关键点驱动图注意力、基于LSTM的空间注意力以及基于支柱的注意力，实现了最先进性能。其在SemanticKITTI数据集上达到58.80%的mIoU，在nuScenes-LidarSeg上达到30.4%，展现出卓越的泛化能力与接近实时的推理速度，适用于自动驾驶应用。

ABSTRACT

At the heart of all automated driving systems is the ability to sense the surroundings, e.g., through semantic segmentation of LiDAR sequences, which experienced a remarkable progress due to the release of large datasets such as SemanticKITTI and nuScenes-LidarSeg. While most previous works focus on sparse segmentation of the LiDAR input, dense output masks provide self-driving cars with almost complete environment information. In this paper, we introduce MASS - a Multi-Attentional Semantic Segmentation model specifically built for dense top-view understanding of the driving scenes. Our framework operates on pillar- and occupancy features and comprises three attention-based building blocks: (1) a keypoint-driven graph attention, (2) an LSTM-based attention computed from a vector embedding of the spatial input, and (3) a pillar-based attention, resulting in a dense 360-degree segmentation mask. With extensive experiments on both, SemanticKITTI and nuScenes-LidarSeg, we quantitatively demonstrate the effectiveness of our model, outperforming the state of the art by 19.0% on SemanticKITTI and reaching 30.4% in mIoU on nuScenes-LidarSeg, where MASS is the first work addressing the dense segmentation task. Furthermore, our multi-attention model is shown to be very effective for 3D object detection validated on the KITTI-3D dataset, showcasing its high generalizability to other tasks related to 3D vision.

研究动机与目标

• 为解决从稀疏激光雷达点云进行密集俯视语义分割的挑战，从而实现比稀疏点级分割更丰富的环境理解。
• 通过设计基于支柱的端到端框架并引入注意力机制，克服2D CNN在不规则、稀疏3D点云上的局限性。
• 通过多尺度数据增强和基于注意力的特征聚合，提升在真实驾驶场景中的泛化能力和鲁棒性。
• 通过消融研究和跨数据集评估，验证模型在相关3D视觉任务（如3D目标检测）中的可迁移性。

提出的方法

• 该框架使用支柱特征网络（PFN）将稀疏3D激光雷达点云转换为密集2D支柱特征，从而实现高效的2D CNN处理。
• 采用改进的UNet（M-UNet）主干网络处理支柱特征，生成密集俯视语义分割掩码。
• 集成了三种注意力机制：(1) 关键点驱动图注意力用于局部上下文建模，(2) 基于空间向量嵌入的LSTM注意力用于序列依赖性学习，(3) 基于支柱的注意力用于全局特征优化。
• 模型通过在网格单元级别标签上使用交叉熵损失进行端到端训练，监督通过占用图限制在可见区域。
• 应用数据增强技术（随机翻转、旋转和缩放）以提升鲁棒性，而由于性能下降，排除了平移增强。
• 推理过程针对实时部署进行了优化，在GTX 2080Ti上实现每帧74ms的推理速度，MA仅增加约16ms的开销。

实验结果

研究问题

• RQ1 与现有稀疏或2D分割方法相比，多注意力机制是否能提升稀疏激光雷达数据上密集俯视语义分割的性能？
• RQ2 所提出的三种注意力模块——关键点驱动图注意力、基于LSTM的空间注意力和基于支柱的注意力——在捕捉3D场景理解的局部与全局上下文方面有多有效？
• RQ3 所提出的MASS框架是否在语义分割之外的其他3D视觉任务（如3D目标检测）中也具备良好的泛化能力？
• RQ4 诸如随机翻转、旋转和缩放等数据增强策略在多大程度上提升了模型在真实驾驶场景中的泛化能力和鲁棒性？

主要发现

• 在SemanticKITTI数据集上，MASS达到58.80%的mIoU，相比最先进方法提升了19.0%的mIoU。
• 在nuScenes-LidarSeg基准上，MASS以30.4%的mIoU创下新SOTA记录，是首个在该数据集上解决密集俯视语义分割的方法。
• 消融研究证实，随机翻转和旋转使mIoU提升4.6%，而缩放提升0.6%，表明增强策略带来显著性能增益。
• 模型在GTX 2080Ti上实现接近实时的推理速度，每帧仅需74ms，适用于实时自动驾驶应用。
• 多注意力机制增强了特征表示能力，如消融研究和下游3D目标检测任务中的一致性提升所证实。
• 该框架在3D目标检测任务中也表现出良好的泛化能力，经KITTI-3D数据集验证，表明其在3D视觉任务间具备强大的可迁移性。