[论文解读] Fast-BEV: A Fast and Strong Bird's-Eye View Perception Baseline

Yangguang Li, Bin Huang+9 more|arXiv (Cornell University)|Jan 29, 2023

Advanced Neural Network Applications被引用 6

一句话总结

Fast-BEV 提出了一种快速、高效且适合部署的鸟瞰图（BEV）感知框架，适用于自动驾驶场景，在车载芯片上实现了高性能与低推理延迟的平衡。该框架采用一种新颖的 Fast-Ray 变换，实现高效的二维到三维特征投影；结合多尺度图像编码器、高效的 BEV 编码器以及时间信息融合机制，无需依赖昂贵的 Transformer 模型或深度监督，即可实现端到端实时推理（在 nuScenes 数据集上最高达到 53.5% NDS）。

ABSTRACT

Recently, perception task based on Bird's-Eye View (BEV) representation has drawn more and more attention, and BEV representation is promising as the foundation for next-generation Autonomous Vehicle (AV) perception. However, most existing BEV solutions either require considerable resources to execute on-vehicle inference or suffer from modest performance. This paper proposes a simple yet effective framework, termed Fast-BEV , which is capable of performing faster BEV perception on the on-vehicle chips. Towards this goal, we first empirically find that the BEV representation can be sufficiently powerful without expensive transformer based transformation nor depth representation. Our Fast-BEV consists of five parts, We novelly propose (1) a lightweight deployment-friendly view transformation which fast transfers 2D image feature to 3D voxel space, (2) an multi-scale image encoder which leverages multi-scale information for better performance, (3) an efficient BEV encoder which is particularly designed to speed up on-vehicle inference. We further introduce (4) a strong data augmentation strategy for both image and BEV space to avoid over-fitting, (5) a multi-frame feature fusion mechanism to leverage the temporal information. Through experiments, on 2080Ti platform, our R50 model can run 52.6 FPS with 47.3% NDS on the nuScenes validation set, exceeding the 41.3 FPS and 47.5% NDS of the BEVDepth-R50 model and 30.2 FPS and 45.7% NDS of the BEVDet4D-R50 model. Our largest model (R101@900x1600) establishes a competitive 53.5% NDS on the nuScenes validation set. We further develop a benchmark with considerable accuracy and efficiency on current popular on-vehicle chips. The code is released at: https://github.com/Sense-GVT/Fast-BEV.

研究动机与目标

• 解决在资源受限的车载芯片上部署高性能 BEV 感知模型的挑战。
• 克服基于 Transformer 或深度预测的现有 BEV 方法推理速度慢、部署困难的问题。
• 实现在 NVIDIA Xavier 等低算力平台上的高效、实时推理。
• 利用真实世界仅摄像头数据进行可扩展的模型训练与部署，无需深度监督。
• 开发一种完全卷积、端到端的 BEV 框架，实现速度、精度与部署可行性的良好平衡。

提出的方法

• 提出 Fast-Ray 变换，一种轻量化、适合部署的 2D 到 3D 视角转换方法，利用查表法（Look-Up-Table）与多视角到单体素（Multi-View to One-Voxel）操作，加速沿相机射线的特征投影。
• 采用具有三层特征金字塔网络（FPN）结构的多尺度图像编码器，提取并投影多尺度特征，在不增加延迟的前提下提升性能。
• 设计高效的 BEV 编码器，仅使用最少数量的残差块，降低计算成本，加速车载芯片上的推理过程。
• 引入一种强数据增强策略，同时应用于图像空间与 BEV 空间，防止过拟合并提升模型鲁棒性。
• 引入多帧特征融合机制，利用时间信息提升检测精度。
• 通过 CUDA-TensorRT-INT8 优化整个推理管道，实现在 Xavier、Orin 和 T4 平台上的推理速度基准测试。

实验结果

研究问题

• RQ1 能否在低算力车载芯片上实现高性能 BEV 感知框架，同时保持低推理延迟？
• RQ2 是否可能在不牺牲精度的前提下，完全去除昂贵的深度监督与基于 Transformer 的注意力机制？
• RQ3 在真实部署场景中，一种轻量化变换与高效编码器结合的完全卷积、多尺度 BEV 框架的有效性如何？
• RQ4 当仅使用真实世界仅摄像头数据（无深度标注）进行训练时，该框架能否保持强性能？
• RQ5 在不同车载硬件平台下，模型大小、推理速度与精度之间的权衡关系如何？

主要发现

• 在 2080Ti 平台，Fast-BEV 的 R50 模型在 nuScenes 验证集上实现 52.6 FPS 的推理速度与 47.3% NDS 的性能，优于 BEVDepth-R50（41.3 FPS，47.5% NDS）与 BEVDet4D-R50（30.2 FPS，45.7% NDS）。
• Fast-BEV 最大模型（R101@900x1600）在 nuScenes 验证集上达到 53.5% NDS 的竞争力性能，证明其强大性能。
• 在 AGX Xavier 平台，M0 模型实现 19.7 FPS，可在低算力平台上实现真正的实时推理。
• 在 AGX Orin 平台，M2 模型达到 43.3 FPS，同时保持与 R50 系列相当的性能，满足实时推理需求。
• 该框架展现出强大的部署灵活性，得益于其 CPU 友好且 CUDA 优化的设计，可支持德州仪器（Texas Instruments）DSP 等非 GPU 芯片。
• 由于无需深度监督与 Transformer 机制，Fast-BEV 能够在真实世界仅摄像头数据集（无深度标注）上高效训练与部署。