[论文解读] FSD V2: Improving Fully Sparse 3D Object Detection with Virtual Voxels

Lue Fan, Feng Wang+2 more|arXiv (Cornell University)|Aug 7, 2023

Advanced Neural Network Applications被引用 5

一句话总结

FSDv2 提出了一种完全稀疏的 3D 目标检测框架，用虚拟体素（virtual voxels）取代 FSDv1 中基于聚类的实例级表征。虚拟体素是通过将中心投票点（center-voted points）体素化生成的人工体素，从而消除了手工设计的归纳偏置。该方法简化了检测流程，提升了泛化能力，并在 Waymo、nuScenes 和 Argoverse 2 数据集上实现了最先进性能，仅带来极小的延迟增加，且对超参数具有强鲁棒性。

ABSTRACT

LiDAR-based fully sparse architecture has garnered increasing attention. FSDv1 stands out as a representative work, achieving impressive efficacy and efficiency, albeit with intricate structures and handcrafted designs. In this paper, we present FSDv2, an evolution that aims to simplify the previous FSDv1 while eliminating the inductive bias introduced by its handcrafted instance-level representation, thus promoting better general applicability. To this end, we introduce the concept of extbf{virtual voxels}, which takes over the clustering-based instance segmentation in FSDv1. Virtual voxels not only address the notorious issue of the Center Feature Missing problem in fully sparse detectors but also endow the framework with a more elegant and streamlined approach. Consequently, we develop a suite of components to complement the virtual voxel concept, including a virtual voxel encoder, a virtual voxel mixer, and a virtual voxel assignment strategy. Through empirical validation, we demonstrate that the virtual voxel mechanism is functionally similar to the handcrafted clustering in FSDv1 while being more general. We conduct experiments on three large-scale datasets: Waymo Open Dataset, Argoverse 2 dataset, and nuScenes dataset. Our results showcase state-of-the-art performance on all three datasets, highlighting the superiority of FSDv2 in long-range scenarios and its general applicability to achieve competitive performance across diverse scenarios. Moreover, we provide comprehensive experimental analysis to elucidate the workings of FSDv2. To foster reproducibility and further research, we have open-sourced FSDv2 at https://github.com/tusen-ai/SST.

研究动机与目标

• 为解决 FSDv1 中手工聚类引入的归纳偏置问题，该偏置限制了模型在多样化场景下的通用性。
• 通过用虚拟体素替代实例级特征，消除稀疏检测器中的中心特征缺失（CFM）问题。
• 通过移除聚类和 SIR 模块等复杂组件，简化完全稀疏检测流程。
• 在不牺牲效率的前提下，实现在多个大规模 3D 检测基准上的最先进性能。
• 通过用可学习、可微的虚拟体素机制替代基于规则的实例分割，提升模型泛化能力。

提出的方法

• 通过将中心投票点（代表物体中心的人工点）进行体素化，引入虚拟体素，从而替代基于聚类的实例表征。
• 设计一种轻量级的稀疏虚拟体素混合器（VVM），用于聚合属于同一物体的虚拟体素特征，提升特征完整性。
• 将虚拟体素用作边界框预测的锚点，降低回归目标的方差，提升训练稳定性。
• 采用虚拟体素分配策略，将预测特征映射到虚拟体素上，实现检测头的直接推理。
• 使用稀疏主干网络（如 Sparse-UNet）高效编码点云，随后进行中心投票和虚拟体素化。
• 将虚拟体素机制集成到完全稀疏的检测流程中，保持端到端可微性和计算效率。

实验结果

研究问题

• RQ1 虚拟体素能否在完全稀疏的 3D 检测器中有效替代基于聚类的实例级表征，同时减少归纳偏置？
• RQ2 虚拟体素机制如何缓解稀疏点云检测中的中心特征缺失（CFM）问题？
• RQ3 将手工聚类替换为可学习的虚拟体素化是否能提升模型在多样化 3D 检测基准上的泛化能力？
• RQ4 FSDv2 在长距离和密集场景下的性能与 FSDv1 及 SOTA 方法相比如何？
• RQ5 虚拟体素大小和设计选择对检测精度和推理效率有何影响？

主要发现

• 在 Waymo Open Dataset 上，FSDv2 实现了 62.0 的 mAP，优于 FSDv1 和先前的 SOTA 方法。
• 在 nuScenes 数据集上，FSDv2 达到 68.5 的 NDS 和 62.0 的 mAP，展现出在多样化场景中的强大泛化能力。
• 在 Argoverse 2 上，FSDv2 在完整训练和增强设置下实现 37.6 的 mAP，显著优于 FSDv1 的 28.2 mAP。
• 虚拟体素机制通过使用与物体中心对齐的虚拟体素作为锚点，减少了正负样本不平衡和回归方差。
• 性能对虚拟体素大小具有鲁棒性，更大的体素尺寸（如 0.5×0.5×0.4 m）因减少物体尺寸不平衡而略优。
• 运行时评估显示，尽管增加了 VVM 模块，FSDv2 的总延迟仅增加 2.5ms，效率几乎与 FSDv1 相当。