[论文解读] BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework

Tingting Liang, Hongwei Xie+7 more|arXiv (Cornell University)|May 27, 2022

Advanced Neural Network Applications被引用 201

一句话总结

BEVFusion 将摄像头和 LiDAR 流分离到一个共享的 BEV 空间，并用动态模块进行融合，从而提高对 LiDAR 或摄像头故障的鲁棒性，并在 nuScenes 上实现无需后处理的最先进结果。

ABSTRACT

Fusing the camera and LiDAR information has become a de-facto standard for 3D object detection tasks. Current methods rely on point clouds from the LiDAR sensor as queries to leverage the feature from the image space. However, people discovered that this underlying assumption makes the current fusion framework infeasible to produce any prediction when there is a LiDAR malfunction, regardless of minor or major. This fundamentally limits the deployment capability to realistic autonomous driving scenarios. In contrast, we propose a surprisingly simple yet novel fusion framework, dubbed BEVFusion, whose camera stream does not depend on the input of LiDAR data, thus addressing the downside of previous methods. We empirically show that our framework surpasses the state-of-the-art methods under the normal training settings. Under the robustness training settings that simulate various LiDAR malfunctions, our framework significantly surpasses the state-of-the-art methods by 15.7% to 28.9% mAP. To the best of our knowledge, we are the first to handle realistic LiDAR malfunction and can be deployed to realistic scenarios without any post-processing procedure. The code is available at https://github.com/ADLab-AutoDrive/BEVFusion.

研究动机与目标

• 识别现有依赖 LiDAR 输入来生成图像查询的 LiDAR-摄像头融合方法的局限性。
• 提出一个双流框架，将摄像头和 LiDAR 数据编码为彼此独立的共同 BEV 表示。
• 开发一个简单而有效的融合模块，用于融合来自两种模态的 BEV 特征。
• 通过专门的增强与评估，展示对现实 LiDAR 故障和摄像头失效的鲁棒性。

提出的方法

• 两个独立的流将输入编码到同一个 BEV 空间：摄像头流（基于 Lift-Splat-Shoot 的改编，使用 Dual-Swin-Tiny 主干和 BEV 编码器）以及 LiDAR 流（以 PointPillars、CenterPoint 或 TransFusion 作为主干）。
• 一个动态融合模块将 BEV 特征拼接，并应用通道-空间融合，随后进行自适应特征选择以产生 F_fused。
• 融合后的 BEV 特征输入标准的三维检测头（基于锚框、无锚框或基于变换器的头）进行预测。
• 摄像头 BEV 特征通过视图投影器生成，该投影器预测深度并将图像特征渲染到体素网格中，然后通过使用空间到通道的方法的 BEV 编码器进行压缩。
• LiDAR BEV 特征由成熟的 LiDAR 主干产生，转换为 BEV，且不依赖于摄像头分支。
• 训练采用两阶段过程：分别训练单目和 LiDAR 流，然后用两者流微调 BEVFusion。

实验结果

研究问题

• RQ1 是否可以设计一个 LiDAR-摄像头融合框架，在不依赖 LiDAR 输入来生成摄像头查询的情况下，仍然实现出色的性能？
• RQ2 将摄像头与 LiDAR 流解耦是否比传统融合方法在对 LiDAR 故障和摄像头失效时具有更强的鲁棒性？
• RQ3 BEVFusion 在不同 LiDAR 主干和检测头上的泛化能力如何？
• RQ4 所提出的动态融合模块对跨模态的检测精度有何影响？

主要发现

• 将摄像头流与 LiDAR 流融合后，BEVFusion 能提升若干 LiDAR 基线检测器的性能，例如 PointPillars 提升 18.4% mAP，CenterPoint 提升 3.0%–7.1% mAP，取决于基线。
• 在 nuScenes 测试上，使用 TransFusion-L 作为 LiDAR 主干的 BEVFusion 实现 69.2% mAP，超过 TransFusion 的 68.9%以及无需测试时增强的最新方法。
• 在 LiDAR 鲁棒性实验（限FOV 和对象 LiDAR 点 dropping）下，BEVFusion 始终优于仅 LiDAR 基线和普通 LC 融合，在某些设置下提升达到 25+ mAP。
• 在摄像头鲁棒性场景下，当摄像头缺失或性能下降时，BEVFusion 仍具竞争力，且通常优于仅摄像头和其他融合基线。
• 消融研究表明，摄像头流受益于更大的2D主干（Dual-Swin-Tiny），动态融合模块（CSF + AFS）相对于静态融合显著提升性能。