[论文解读] Fast-BEV: Towards Real-time On-vehicle Bird's-Eye View Perception

Bin Huang, Yangguang Li+8 more|arXiv (Cornell University)|Jan 19, 2023

Robotics and Sensor-Based Localization被引用 7

一句话总结

Fast-BEV 提出了一种实时、适用于车载设备的鸟瞰图（BEV）感知框架，在不依赖昂贵的深度估计或基于 Transformer 的视角转换的前提下，实现了最先进性能。通过在图像空间和 BEV 空间中集成强数据增强、多帧时间特征融合，以及通过预计算的投影索引和共享密集体素特征实现的优化部署友好型视角转换，该方法在 nuScenes 数据集上实现了 53.5% 的 NDS，且在边缘硬件上实现超过 50 FPS 的推理速度。

ABSTRACT

Recently, the pure camera-based Bird's-Eye-View (BEV) perception removes expensive Lidar sensors, making it a feasible solution for economical autonomous driving. However, most existing BEV solutions either suffer from modest performance or require considerable resources to execute on-vehicle inference. This paper proposes a simple yet effective framework, termed Fast-BEV, which is capable of performing real-time BEV perception on the on-vehicle chips. Towards this goal, we first empirically find that the BEV representation can be sufficiently powerful without expensive view transformation or depth representation. Starting from M2BEV baseline, we further introduce (1) a strong data augmentation strategy for both image and BEV space to avoid over-fitting (2) a multi-frame feature fusion mechanism to leverage the temporal information (3) an optimized deployment-friendly view transformation to speed up the inference. Through experiments, we show Fast-BEV model family achieves considerable accuracy and efficiency on edge. In particular, our M1 model (R18@256x704) can run over 50FPS on the Tesla T4 platform, with 47.0% NDS on the nuScenes validation set. Our largest model (R101@900x1600) establishes a new state-of-the-art 53.5% NDS on the nuScenes validation set. The code is released at: https://github.com/Sense-GVT/Fast-BEV.

研究动机与目标

• 开发一种实时、可部署于车载设备的 BEV 感知系统，避免依赖昂贵的 LiDAR 或计算资源密集的组件（如 Transformer 和深度估计）。
• 在不增加推理阶段模型复杂度或计算成本的前提下，提升 BEV 基准测试中的检测性能。
• 通过减少延迟并提升硬件兼容性，优化图像到 BEV 的视角转换，以适配边缘设备部署。
• 仅使用标准卷积神经网络和高效的推理流水线，在嵌入式芯片上实现高性能 BEV 感知。

提出的方法

• 在图像空间和 BEV 空间中均采用强数据增强，以防止过拟合并提升模型鲁棒性。
• 引入一种多帧特征融合机制，利用历史帧的时间信息以提升检测精度。
• 通过预计算固定投影索引作为静态查表，消除每次推理时的计算开销，优化图像到 BEV 的投影过程。
• 通过将所有相机特征投影到共享的密集体素网格中，减少体素聚合延迟，避免稀疏聚合操作。
• 采用基于 M²BEV 的全卷积架构，避免使用昂贵的注意力机制或深度分布预测。
• 采用轻量化、面向部署的推理流水线，适用于计算资源有限的车载边缘设备。

实验结果

研究问题

• RQ1 在图像空间和 BEV 空间中同时应用强数据增强，是否能显著提升 BEV 检测性能，而无需增加模型复杂度？
• RQ2 结合多帧的时间信息在多大程度上能提升 BEV 空间中的 3D 目标检测性能？
• RQ3 图像到 BEV 的视角转换是否可被优化，以实现在嵌入式平台上的亚毫秒级推理延迟？
• RQ4 是否可能仅使用标准卷积神经网络实现 SOTA 水平的 BEV 检测性能，同时避免使用 Transformer 或深度估计？
• RQ5 强数据增强与时间特征融合的结合，对训练收敛速度和最终模型精度有何影响？

主要发现

• Fast-BEV 模型族在使用最大 R101 基础架构和 900×1600 输入分辨率的情况下，在 nuScenes 验证集上实现了新的 SOTA 水平，NDS 达到 53.5%。
• M1 模型（R18@256×704）在 Tesla T4 上实现超过 50 FPS 的推理速度，证明其在标准硬件上具备实时处理能力。
• 结合图像空间与 BEV 空间的数据增强，相比基线模型，NDS 提升了 4.4% 的绝对值，凸显了多空间增强的有效性。
• 使用四帧历史帧进行多帧时间特征融合，使 NDS 提升 9.3%，证明时间建模在 BEV 检测中的显著价值。
• 通过预计算投影索引并使用共享密集体素网格，与原始 M²BEV 相比，视角转换延迟降低了整整一个数量级。
• 最大规模的 Fast-BEV 模型在 832×1440 输入分辨率下达到 49.1% NDS，且在分辨率超过 928×1600 后性能趋于饱和，表明高分辨率下收益递减。