[论文解读] BEVFormer v2: Adapting Modern Image Backbones to Bird's-Eye-View Recognition via Perspective Supervision

Chenyu Yang, Yuntao Chen+10 more|arXiv (Cornell University)|Nov 18, 2022

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

BEVFormer v2 通过双头检测框架引入了视角监督，使现代 2D 图像主干网络在鸟瞰图（BEV）3D 目标检测任务中达到最先进性能。通过在 BEV 头部之外联合训练一个视角 3D 检测头部并引入辅助损失，该模型加速了收敛并提升了泛化能力，在使用如 ConvNeXt-XL 等大规模预训练主干网络时，于 nuScenes 数据集上实现了 63.4% 的 NDS。

ABSTRACT

We present a novel bird's-eye-view (BEV) detector with perspective supervision, which converges faster and better suits modern image backbones. Existing state-of-the-art BEV detectors are often tied to certain depth pre-trained backbones like VoVNet, hindering the synergy between booming image backbones and BEV detectors. To address this limitation, we prioritize easing the optimization of BEV detectors by introducing perspective space supervision. To this end, we propose a two-stage BEV detector, where proposals from the perspective head are fed into the bird's-eye-view head for final predictions. To evaluate the effectiveness of our model, we conduct extensive ablation studies focusing on the form of supervision and the generality of the proposed detector. The proposed method is verified with a wide spectrum of traditional and modern image backbones and achieves new SoTA results on the large-scale nuScenes dataset. The code shall be released soon.

研究动机与目标

• 解决现代 2D 图像主干网络在 BEV 检测任务中因领域差距与复杂模型结构导致的适应性差问题。
• 克服 BEV 检测器在优化过程中带来的挑战，以实现对通用图像主干网络的有效微调。
• 使大规模预训练图像主干网络（如 ConvNeXt 和 Swin Transformer）能够在 BEV 检测框架中被有效利用。
• 开发一种两阶段 BEV 检测器，利用高质量的视角视图提议来提升 BEV 检测性能。

提出的方法

• 引入一个视角 3D 检测头部，通过辅助检测损失直接监督图像主干网络，提升 3D 感知的特征学习能力。
• 将视角头部生成的物体提议作为输入送入 BEV 头部，与可学习查询一起编码为混合对象查询。
• 通过联合训练视角头部与 BEV 头部，采用结合 BEV 损失与视角损失的多任务损失函数，以稳定优化过程。
• 采用两阶段检测流程：第一阶段由视角头部生成提议，第二阶段在 BEV 头部中对提议进行细化以生成最终预测。
• 应用双向时间编码，采用更长的时间间隔（2 秒），以增强运动与朝向估计能力。
• 在视角头部中使用密集且无锚点的预测头（如 DD3D），以确保对图像特征的强而直接的监督。

实验结果

研究问题

• RQ1 视角监督是否能显著改善现代 2D 图像主干网络在 BEV 检测中的优化与适应能力？
• RQ2 将两阶段检测流程与视角提议相结合，对 BEV 检测性能有何影响？
• RQ3 与仅使用 BEV 监督相比，辅助视角损失是否能实现更快的收敛与更好的泛化能力？
• RQ4 大规模预训练图像主干网络（如 ConvNeXt-XL）在 BEV 检测中，相较于传统深度预训练主干网络（如 VoVNet），能实现多大程度的性能超越？
• RQ5 时间编码与数据增强等架构选择如何影响最终的检测性能？

主要发现

• 视角监督使 ConvNeXt-XL（大规模 ImageNet 预训练主干）在 nuScenes 数据集上实现 63.4% NDS，超越了较小规模、基于 DDAD-15M 预训练的 VoVNet-99 主干网络。
• 采用视角监督的模型收敛速度更快，且在更长训练周期下仍能达到更高性能，优于仅使用 BEV 训练的模型。
• 采用混合对象查询的两阶段 BEVFormer v2 框架显著提升了检测精度，尤其在朝向估计与小目标检测方面表现突出。
• 采用 2 秒时间间隔的双向时间编码有效降低了 mAOE，提升了运动与朝向估计能力。
• 视角监督对 NDS 贡献了 2.2%，对 mAP 贡献了 2.6%，充分证明其在性能提升中的主导作用。
• 该方法在多种主干网络（包括传统与现代架构）上均表现出良好泛化能力，验证了其广泛适用性。