[论文解读] DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention

Zhipeng Luo, Changqing Zhou+2 more|arXiv (Cornell University)|Dec 15, 2022

Advanced Neural Network Applications被引用 10

一句话总结

DETR4D 提出了一种基于查询、基于 Transformer 的多视角 3D 目标检测框架，采用稀疏注意力机制和直接特征查询，以提升几何线索的利用效率并减少跨视角物体的信息损失。该方法引入了一种新颖的投影交叉注意力机制、基于热力图的查询初始化方式以及一种混合时间建模策略，在 nuScenes 数据集上实现了最先进水平的效率与具有竞争力的性能，NDS 达到 50.5%，mAP 达到 42.0%。

ABSTRACT

3D object detection with surround-view images is an essential task for autonomous driving. In this work, we propose DETR4D, a Transformer-based framework that explores sparse attention and direct feature query for 3D object detection in multi-view images. We design a novel projective cross-attention mechanism for query-image interaction to address the limitations of existing methods in terms of geometric cue exploitation and information loss for cross-view objects. In addition, we introduce a heatmap generation technique that bridges 3D and 2D spaces efficiently via query initialization. Furthermore, unlike the common practice of fusing intermediate spatial features for temporal aggregation, we provide a new perspective by introducing a novel hybrid approach that performs cross-frame fusion over past object queries and image features, enabling efficient and robust modeling of temporal information. Extensive experiments on the nuScenes dataset demonstrate the effectiveness and efficiency of the proposed DETR4D.

研究动机与目标

• 为解决无深度监督下的多视角图像 3D 目标检测挑战，其中深度模糊性和跨视角信息损失限制了性能表现。
• 提升对多视角可见物体的几何线索利用效率，减少信息损失。
• 通过融合过去的目标查询与图像特征（无需中间特征融合），在纯摄像头 3D 检测中实现高效的时间建模。
• 在保持高推理效率的同时，实现与现有基于查询的方法相当甚至更优的检测精度。

提出的方法

• 提出一种新颖的投影交叉注意力机制，先生成 3D 采样位置，再将其投影至 2D 图像，从而增强几何一致性并减少信息损失。
• 通过体素网格采样生成热力图，为查询初始化提供目标性先验和上下文线索。
• 提出一种混合时间建模策略，利用自车运动对齐技术，聚合来自过去目标查询和过去图像特征的信息。
• 采用稀疏注意力机制，高效聚合投影至 3D 查询位置的图像特征，避免密集采样，降低计算成本。
• 应用自车运动对齐技术，通过补偿帧间自车运动，稳定时间建模过程。
• 采用直接的查询到图像特征聚合流程，跳过中间 3D 特征生成步骤，支持端到端训练。

实验结果

研究问题

• RQ1 通过重新思考查询投影流程，基于查询的 3D 检测框架是否能在多视角 3D 检测中实现更好的几何一致性与更少的信息损失？
• RQ2 如何在不进行显式深度估计或中间 3D 特征图的情况下，有效将 2D 图像特征映射到 3D 空间？
• RQ3 一种融合过去查询与图像特征的混合时间建模策略，是否能在计算开销极低的前提下提升检测鲁棒性？
• RQ4 自车运动对齐是否能显著提升基于摄像头的 3D 检测中的时间建模性能？

主要发现

• DETR4D 在 nuScenes 数据集上实现了 50.5% 的 NDS 和 42.0% 的 mAP，优于单帧基线模型，展现出优异的性能与高效率。
• 所提出的投影交叉注意力机制相比使用标准空间交叉注意力的基线方法，NDS 提升了 3.9%，主要得益于更优的几何线索利用。
• 混合时间建模方法通过结合过去查询与图像特征聚合，达到最佳性能（NDS：50.5%），表明两部分具有互补性且不可或缺。
• 自车运动对齐使 NDS 提升了 3.9 个百分点，证明其在稳定时间建模中的关键作用。
• 性能在帧间时间间隔为 1.5 秒时达到峰值，NDS 为 50.5%，mAP 为 42.0%，表明此时特征区分度最佳且跨帧关联最有效。
• 在所有骨干网络配置下，DETR4D 的推理速度均高于 BEVFormer，尤其在 ResNet-50 等小型骨干网络上展现出显著的速度优势。