[论文解读] CenterFormer: Center-based Transformer for 3D Object Detection

Zixiang Zhou, Xiangchen Zhao+3 more|arXiv (Cornell University)|Sep 12, 2022

Advanced Neural Network Applications被引用 10

一句话总结

CenterFormer 提出了一种基于中心点的 Transformer 网络，用于 LiDAR 点云中的 3D 目标检测，通过使用中心特征嵌入作为查询，降低训练难度和计算成本。其在 Waymo 验证集上达到 73.7% 的 mAPH，在测试集上达到 75.6%，优于先前的 CNN 和基于 Transformer 的方法。

ABSTRACT

Query-based transformer has shown great potential in constructing long-range attention in many image-domain tasks, but has rarely been considered in LiDAR-based 3D object detection due to the overwhelming size of the point cloud data. In this paper, we propose CenterFormer, a center-based transformer network for 3D object detection. CenterFormer first uses a center heatmap to select center candidates on top of a standard voxel-based point cloud encoder. It then uses the feature of the center candidate as the query embedding in the transformer. To further aggregate features from multiple frames, we design an approach to fuse features through cross-attention. Lastly, regression heads are added to predict the bounding box on the output center feature representation. Our design reduces the convergence difficulty and computational complexity of the transformer structure. The results show significant improvements over the strong baseline of anchor-free object detection networks. CenterFormer achieves state-of-the-art performance for a single model on the Waymo Open Dataset, with 73.7% mAPH on the validation set and 75.6% mAPH on the test set, significantly outperforming all previously published CNN and transformer-based methods. Our code is publicly available at https://github.com/TuSimple/centerformer

研究动机与目标

• 为解决在大规模 LiDAR 点云上基于 Transformer 的 3D 目标检测中训练不稳定和计算成本高的挑战。
• 通过利用基于目标的注意力机制，改进无锚框 3D 检测中的长距离和上下文特征学习。
• 通过交叉注意力机制实现有效的多帧特征融合，以提升检测的鲁棒性。
• 用中心特征嵌入替代可学习的查询嵌入，以加速收敛并提升性能。

提出的方法

• 基于体素的主干网络将 LiDAR 点云编码为鸟瞰图（BEV）特征图。
• 多尺度中心提议网络（CPN）预测初始中心位置，并生成作为查询输入的中心特征嵌入。
• 带有可变形交叉注意力层的 Transformer 解码器，通过采样关键点位置，从多尺度 BEV 特征中聚合特征。
• 查询嵌入初始化为预测中心处的特征，从而聚焦于与目标相关的区域。
• 通过查询与时间相邻帧特征之间的交叉注意力实现多帧特征融合。
• 模型结合角点监督、IoU 校正和淡入增强策略，以提升训练稳定性和泛化能力。

实验结果

研究问题

• RQ1 基于中心点的查询初始化是否能改善大规模 LiDAR 点云上基于 Transformer 的 3D 目标检测中的训练收敛性和性能？
• RQ2 与可学习参数化查询相比，使用中心特征嵌入作为查询在检测精度和训练稳定性方面表现如何？
• RQ3 可变形交叉注意力在多大程度上能降低计算成本，同时保持或提升 3D 检测中的特征聚合性能？
• RQ4 通过交叉注意力实现的多帧特征融合在提升序列 LiDAR 扫描检测性能方面有多有效？
• RQ5 辅助监督和训练策略（如 IoU 校正）对模型收敛性和最终 mAPH 的影响如何？

主要发现

• CenterFormer 在 Waymo Open Dataset 验证集上达到 73.7% 的 mAPH，在测试集上达到 75.6%，创下单模型性能的新 SOTA。
• 使用中心特征作为查询嵌入相比可学习查询参数，mAPH 提升 1.5%，证明其在收敛性和特征表示方面更优。
• 自注意力与交叉注意力层的结合使性能提升至 67.0% mAPH，可变形交叉注意力进一步将其提升至 67.3%。
• IoU 校正和淡入增强策略在与可变形交叉注意力结合时，分别带来 1.4% 和 0.7% 的 mAPH 提升。
• 采用基于提议的训练策略（非端到端集合匹配）的模型达到 68.7% mAPH，相比端到端 DETR 风格训练高出超过 20 个百分点。
• 可视化结果证实，注意力机制聚焦于相关目标区域及同类别相邻目标，验证了模型学习上下文和长距离依赖关系的能力。