Skip to main content
QUICK REVIEW

[论文解读] BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers

Zhiqi Li, Wenhai Wang|arXiv (Cornell University)|Mar 31, 2022
Advanced Image and Video Retrieval TechniquesComputer Science被引用 36
一句话总结

BEVFormer 通过使用带网格状 BEV 查询的时空变换器,从多摄像头图像学习统一的 BEV 表征,实现端到端的 3D 检测和地图分割,而无需深度信息。通过整合空间跨注意力和时序自注意力,在 nuScenes 和 Waymo 上达到最先进的结果。

ABSTRACT

3D visual perception tasks, including 3D detection and map segmentation based on multi-camera images, are essential for autonomous driving systems. In this work, we present a new framework termed BEVFormer, which learns unified BEV representations with spatiotemporal transformers to support multiple autonomous driving perception tasks. In a nutshell, BEVFormer exploits both spatial and temporal information by interacting with spatial and temporal space through predefined grid-shaped BEV queries. To aggregate spatial information, we design spatial cross-attention that each BEV query extracts the spatial features from the regions of interest across camera views. For temporal information, we propose temporal self-attention to recurrently fuse the history BEV information. Our approach achieves the new state-of-the-art 56.9\% in terms of NDS metric on the nuScenes exttt{test} set, which is 9.0 points higher than previous best arts and on par with the performance of LiDAR-based baselines. We further show that BEVFormer remarkably improves the accuracy of velocity estimation and recall of objects under low visibility conditions. The code is available at \url{https://github.com/zhiqi-li/BEVFormer}.

研究动机与目标

  • 通过从多视图图像学习 BEV 特征,推动基于摄像头的 3D 感知,而无需深度信息。
  • 提出一个带时空变换器的统一 BEV 编码器,用于多种感知任务。
  • 实现跨帧的时序融合,以提升速度估计和遮挡处理。

提出的方法

  • 引入网格形状的可学习 BEV 查询以对 BEV 空间进行查询。
  • 使用空间跨注意力(可变形)在跨视图的感兴趣区域聚合多摄像头特征。
  • 使用时序自注意力将当前 BEV 查询与由自我运动对齐的历史 BEV 特征融合。
  • 将 BEV 网格单元的 3D 参考点投射到相机视图以进行跨注意力。
  • 在 BEV 特征上采用端到端的 3D 检测头和地图分割头。

实验结果

研究问题

  • RQ1如何在没有深度信息的情况下,从多摄像头输入学习 BEV 特征?
  • RQ2时空变换器是否能够有效融合每视角的空间特征与时序历史,以支持 3D 检测和地图分割?
  • RQ3时序信息对基于摄像头的感知中的速度估计和遮挡处理有何影响?
  • RQ4BEVFormer 与 nuScenes 和 Waymo 上的先前基于摄像头和基于 LiDAR 的基线相比如何?
  • RQ5当联合训练时,统一的 BEV 表征是否对多种感知任务有利?

主要发现

  • BEVFormer 在 nuScenes 测试集上达到 56.9% 的 NDS,领先 DETR3D 9.0 点。
  • BEVFormer 在地图分割上达到最新水平,在车道分割方面比 Lift-Splat 高出超过 5 个百分点。
  • 时序信息显著提升速度估计和对遮挡对象的召回,在可见性子集上有显著增益。
  • BEVFormer 在 nuScenes 的 NDS 和 AP 指标接近 LiDAR 基线,在 Waymo 相比 DETR3D 提高了 APH。
  • 结合 BEVFormer 进行检测和分割的联合训练可实现强大的多任务性能和共享计算收益。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。