[论文解读] Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe

Hongyang Li, Chonghao Sima+20 more|arXiv (Cornell University)|Sep 12, 2022

Robotics and Sensor-Based Localization被引用 10

一句话总结

本文系统性地综述、评估并提出了一套实用的鸟瞰图（BEV）感知方法，涵盖仅摄像头、激光雷达（LiDAR）以及多传感器融合的方案。该工作提出系统化的设计原则、损失函数，并提供一个经验证的‘技巧工具箱’，显著提升了在 nuScenes 和 Waymo 等基准上的 3D 检测与分割性能，使 LiDAR 分割的 mIoU 最高提升 1.1，同时在仅摄像头的设置中显著缩小了与仅 LiDAR 方法之间的性能差距。

ABSTRACT

Learning powerful representations in bird's-eye-view (BEV) for perception tasks is trending and drawing extensive attention both from industry and academia. Conventional approaches for most autonomous driving algorithms perform detection, segmentation, tracking, etc., in a front or perspective view. As sensor configurations get more complex, integrating multi-source information from different sensors and representing features in a unified view come of vital importance. BEV perception inherits several advantages, as representing surrounding scenes in BEV is intuitive and fusion-friendly; and representing objects in BEV is most desirable for subsequent modules as in planning and/or control. The core problems for BEV perception lie in (a) how to reconstruct the lost 3D information via view transformation from perspective view to BEV; (b) how to acquire ground truth annotations in BEV grid; (c) how to formulate the pipeline to incorporate features from different sources and views; and (d) how to adapt and generalize algorithms as sensor configurations vary across different scenarios. In this survey, we review the most recent works on BEV perception and provide an in-depth analysis of different solutions. Moreover, several systematic designs of BEV approach from the industry are depicted as well. Furthermore, we introduce a full suite of practical guidebook to improve the performance of BEV perception tasks, including camera, LiDAR and fusion inputs. At last, we point out the future research directions in this area. We hope this report will shed some light on the community and encourage more research effort on BEV perception. We keep an active repository to collect the most recent work and provide a toolbox for bag of tricks at https://github.com/OpenDriveLab/Birds-eye-view-Perception

研究动机与目标

• 系统性地综述自动驾驶中鸟瞰图（BEV）感知的最新进展，重点关注多传感器融合、仅摄像头和基于激光雷达的方法。
• 识别 BEV 感知中的核心挑战，包括从 2D 视图重建 3D 几何信息、在 BEV 网格中进行标注、特征融合，以及在不同传感器配置下的泛化能力。
• 提供一套经过实证验证的实用配方，包含优化的组件（如损失函数、主干网络设计和融合机制），以提升 BEV 感知性能。
• 通过提供系统化、可复现的流程，弥合仅摄像头与基于激光雷达的 3D 感知之间的性能差距。

提出的方法

• 基于输入模态，将方法分类为 BEV 摄像头、BEV 激光雷达和 BEV 融合，提出统一的 BEV 感知框架。
• 提出 Voxel-SPVCNN，一种改进的 SPVCNN 架构，在体素化前使用轻量级 MLP 进行特征提取，并引入体素作为点的分支，以降低基于点的分支的计算成本。
• 在仅摄像头的 BEV 检测中引入辅助损失，如 2D 检测和深度监督，以增强 2D 特征学习并提高 3D 定位精度。
• 在激光雷达分割中采用先进的损失函数，如 Geo 损失和 Lovász 损失，以改善边界检测并缓解类别不平衡问题。
• 开发了一整套实用技术——‘技巧工具箱’，包括主干网络初始化、数据增强和训练调度策略，并在多个基准上进行了验证。
• 在 https://github.com/OpenDriveLab/Birds-eye-view-Perception 开源发布工具箱，以支持可复现性与社区采纳。

实验结果

研究问题

• RQ1 在 BEV 感知中，如何有效从 2D 视角图像重建 3D 几何信息？
• RQ2 哪些最有效的损失函数和训练策略能显著提升基于 BEV 的 3D 检测与分割性能？
• RQ3 如何在 BEV 空间中有效对齐并融合来自多样化传感器（如摄像头、激光雷达、GNSS 等）的特征表示？
• RQ4 哪些系统化的设计选择能在不同传感器配置和基准上实现一致的性能提升？
• RQ5 如何利用基础模型的知识来提升 BEV 感知系统在泛化能力和鲁棒性方面的表现？

主要发现

• 所提出的 Voxel-SPVCNN 通过优化体素化过程，降低了基于点的分支计算量，在激光雷达分割基准上将 mIoU 提升了 1.1。
• 在仅摄像头的 BEV 检测中，引入辅助的 2D 检测和深度监督损失可显著提升 3D 定位精度，且仅需极少的架构修改。
• 在激光雷达分割中使用 Geo 损失和 Lovász 损失，分别使 mIoU 提升 0.6，主要得益于更优的边界处理和类别不平衡缓解。
• 在仅摄像头的 BEV 模型中结合 2D 检测头与深度监督，显著缩小了与仅激光雷达方法的性能差距，尤其在 Waymo 和 nuScenes 等具有挑战性的基准上表现突出。
• 开源工具箱与系统化配方在多个数据集上实现了稳定的性能提升，证明了 BEV 感知流程的可复现性改进。