[论文解读] FusionFormer: A Multi-sensory Fusion in Bird's-Eye-View and Temporal Consistent Transformer for 3D Object Detection

Chunyong Hu, Hang Zheng+12 more|arXiv (Cornell University)|Sep 11, 2023

Advanced Neural Network Applications被引用 5

一句话总结

FusionFormer 提出了一种用于 3D 目标检测的端到端多模态融合 Transformer 模型，通过使用统一采样策略直接融合 2D 图像特征与 3D 体素特征，避免了显式的鸟瞰图（BEV）转换，利用可变形注意力机制和残差结构提升模型鲁棒性。该方法在无需测试时增强的情况下，在 nuScenes 数据集上实现了 72.6% mAP 和 75.1% NDS 的最先进性能。

ABSTRACT

Multi-sensor modal fusion has demonstrated strong advantages in 3D object detection tasks. However, existing methods that fuse multi-modal features require transforming features into the bird's eye view space and may lose certain information on Z-axis, thus leading to inferior performance. To this end, we propose a novel end-to-end multi-modal fusion transformer-based framework, dubbed FusionFormer, that incorporates deformable attention and residual structures within the fusion encoding module. Specifically, by developing a uniform sampling strategy, our method can easily sample from 2D image and 3D voxel features spontaneously, thus exploiting flexible adaptability and avoiding explicit transformation to the bird's eye view space during the feature concatenation process. We further implement a residual structure in our feature encoder to ensure the model's robustness in case of missing an input modality. Through extensive experiments on a popular autonomous driving benchmark dataset, nuScenes, our method achieves state-of-the-art single model performance of 72.6% mAP and 75.1% NDS in the 3D object detection task without test time augmentation.

研究动机与目标

• 解决现有多模态融合方法中将 3D 体素特征显式转换为 BEV 空间所导致的性能下降问题。
• 实现无需依赖单目深度估计或 Z 轴压缩的灵活、直接的 2D 图像与 3D 点云特征融合。
• 通过使用稀疏点云特征作为图像特征变换的深度参考，提升特征表示能力。
• 通过残差学习提升模型在模态输入缺失情况下的鲁棒性。
• 通过即插即用的时序融合模块实现历史帧的整合，增强时序一致性。

提出的方法

• 提出一种统一采样策略，使在融合过程中能同时从 2D 图像特征和 3D 体素特征中进行采样，避免显式的 BEV 转换。
• 采用可变形注意力机制，使 BEV 查询能够利用 3D 体素提供的深度参考，与图像和点云特征进行交互。
• 在融合编码器中引入残差结构，确保在推理阶段某一模态缺失时仍能保持性能。
• 设计了一个时序融合模块，聚合前序帧的 BEV 特征以提升时序一致性。
• 采用基于多头注意力的 Transformer 解码器进行目标查询优化和检测头预测。
• 支持仅使用相机的 3D 检测，通过将 LiDAR 特征替换为单目深度估计输出，体现方法的灵活性。

Figure 1: Comparison between state-of-the-art methods and our FusionFormer. (a) In BEVFusion-based methods, the camera features and points features are transformed into BEV space and fused with concatenation. (b) In CMT, the points voxel features are first compressed into BEV features, then are enco

实验结果

研究问题

• RQ1 在 3D 目标检测中，直接在原始形式下融合 2D 图像与 3D 体素特征是否能优于基于 BEV 转换的融合方法？
• RQ2 使用 3D 体素特征作为深度参考，是否能提升 BEV 空间中图像特征变换的准确性？
• RQ3 统一采样策略是否能有效处理单个融合模块中异构模态（2D 与 3D）的融合？
• RQ4 融合编码器中的残差学习如何影响模型对模态缺失输入的鲁棒性？
• RQ5 历史 BEV 特征的时序融合在多大程度上提升了检测的一致性与性能？

主要发现

• FusionFormer 在无需测试时增强的单模型设置下，在 nuScenes 基准上实现了 72.6% mAP 和 75.1% NDS 的最先进性能。
• 使用体素特征而非 BEV 特征作为 LiDAR 输入，使 mAP 提升 1.4 个百分点，mATE 降低 1.3 个百分点，表明对 3D 结构信息的保留更优。
• 所提出的融合模块相比简单加法和拼接操作，分别提升了 3.5 mAP 和 2.8 NDS，证明了其卓越的特征融合能力。
• 在模态丢弃情况下，模型仍保持强大性能：当图像数据缺失时，mAP 为 65.2%，NDS 为 69.8%；当 LiDAR 数据缺失时，mAP 为 64.1%，NDS 为 68.5%，验证了其鲁棒性。
• 可视化结果表明，与 BEVFormer 相比，FusionFormer 在目标物体（尤其是远距离或稀疏物体）上生成的 BEV 特征更加聚焦。
• 仅使用相机的 FusionFormer 变体，结合单目深度估计，实现了 68.9% mAP 和 71.3% NDS，证明了其在仅依赖相机输入下的强大性能。

Figure 2: (a) The framework of the FusionFormer. The LiDAR point cloud and multi-view images are processed separately in their respective backbone networks to extract voxel features and image features. These features are then inputted into a multi-modal fusion encoder (MMFE) to generate the fused BE