[论文解读] Embracing Single Stride 3D Object Detector with Sparse Transformer

Lue Fan, Ziqi Pang+6 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Neural Network Applications被引用 12

一句话总结

本文提出单次步长稀疏变换器（SST），一种3D目标检测器，通过使用稀疏区域自注意力机制，在整个网络中保持全分辨率特征图，以克服单次步长架构中感受野受限的问题。通过利用稀疏体素化和局部注意力机制，SST在Waymo开放数据集上实现了最先进性能，尤其在行人检测方面表现卓越，在验证集上达到83.8%的LEVEL_1 AP。

ABSTRACT

In LiDAR-based 3D object detection for autonomous driving, the ratio of the object size to input scene size is significantly smaller compared to 2D detection cases. Overlooking this difference, many 3D detectors directly follow the common practice of 2D detectors, which downsample the feature maps even after quantizing the point clouds. In this paper, we start by rethinking how such multi-stride stereotype affects the LiDAR-based 3D object detectors. Our experiments point out that the downsampling operations bring few advantages, and lead to inevitable information loss. To remedy this issue, we propose Single-stride Sparse Transformer (SST) to maintain the original resolution from the beginning to the end of the network. Armed with transformers, our method addresses the problem of insufficient receptive field in single-stride architectures. It also cooperates well with the sparsity of point clouds and naturally avoids expensive computation. Eventually, our SST achieves state-of-the-art results on the large scale Waymo Open Dataset. It is worth mentioning that our method can achieve exciting performance (83.8 LEVEL 1 AP on validation split) on small object (pedestrian) detection due to the characteristic of single stride. Codes will be released at https://github.com/TuSimple/SST

研究动机与目标

• 挑战基于激光雷达的3D目标检测器中多步长下采样方法的常规使用，因为该方法在小尺度3D目标（如行人）上表现不佳。
• 探究单次步长网络（保持全空间分辨率）是否能在计算成本更高的情况下，仍优于多步长基线模型。
• 通过稀疏局部注意力机制，解决单次步长3D检测器中感受野受限与计算成本过高的双重挑战。
• 设计一种能利用点云稀疏性，同时保持对小目标强上下文建模能力的模型。
• 证明当变换器适配到稀疏3D体素网格时，可在单次步长设置下超越标准卷积网络。

提出的方法

• 该方法采用单次步长主干网络，避免所有下采样操作，保留3D点云体素化后的原始空间分辨率。
• 提出稀疏区域注意力（SRA），将稀疏3D体素网格划分为局部区域，并在每个区域内应用自注意力机制，以扩展有效感受野。
• SRA通过仅关注非空体素和局部空间邻域来实现计算高效，避免全局注意力计算。
• 通过堆叠多个SRA模块构建深层变换器编码器，实现在保持稀疏性的同时进行层次化特征学习。
• 模型采用标准3D检测头进行端到端训练，具体采用基于锚点或无锚点的检测头，取决于模型变体。
• 该方法与现有3D检测框架兼容，并可无缝集成到MMDetection3D中。

实验结果

研究问题

• RQ1 考虑到3D目标（如行人）在空间中相对尺寸极小，3D目标检测器中采用多步长下采样是否具有实际意义？
• RQ2 尽管存在计算成本增加和感受野受限的风险，单次步长3D检测器能否实现具有竞争力的性能？
• RQ3 稀疏局部注意力机制是否能有效扩展单次步长3D检测器的感受野，同时避免产生不可接受的计算开销？
• RQ4 在特征表示能力和效率方面，稀疏3D空间中的注意力机制与空洞卷积或大卷积核相比如何？
• RQ5 单次步长设计在多大程度上提升了对小尺寸、难检测目标（如行人）的检测性能？

主要发现

• 所提出的SST在Waymo开放数据集验证集上达到83.8%的LEVEL_1 AP，创下3D目标检测新SOTA纪录。
• SST在行人类别上达到71.1%的AP，显著优于此前方法，证明了单次步长分辨率在小目标检测中的优势。
• 消融研究显示，增大SRA中的区域尺寸可提升行人检测性能，最大区域尺寸取得最佳结果。
• SST对网络深度具有鲁棒性，行人检测性能在层数较少时略有提升，表明注意力机制提供了强归纳偏置。
• SST在AP指标上优于所有基线模型，同时保持低延迟，尤其在与使用大卷积核稀疏卷积或深层残差网络的模型对比时表现更优。
• 定性分析表明，注意力权重表现出强语义区分能力，聚焦于物体相关区域并抑制背景点，从而减少误报。