[论文解读] DBQ-SSD: Dynamic Ball Query for Efficient 3D Object Detection

Jinrong Yang, Song Lin+7 more|arXiv (Cornell University)|Jul 22, 2022

Robotics and Sensor-Based Localization被引用 12

一句话总结

该论文提出DBQ-SSD，一种动态球查询机制，能够根据输入特征自适应地选择有信息量的点特征，从而减少3D目标检测中的冗余计算。通过使用可学习的掩码路由机制，仅激活多尺度分组中的相关感受野，该方法在不降低性能的前提下，实现30%-100%的推理加速——在KITTI上达到162 FPS，在Waymo/ONCE上达到30 FPS，甚至由于更优的前景召回率和背景抑制，部分指标有所提升。

ABSTRACT

Many point-based 3D detectors adopt point-feature sampling strategies to drop some points for efficient inference. These strategies are typically based on fixed and handcrafted rules, making it difficult to handle complicated scenes. Different from them, we propose a Dynamic Ball Query (DBQ) network to adaptively select a subset of input points according to the input features, and assign the feature transform with a suitable receptive field for each selected point. It can be embedded into some state-of-the-art 3D detectors and trained in an end-to-end manner, which significantly reduces the computational cost. Extensive experiments demonstrate that our method can increase the inference speed by 30%-100% on KITTI, Waymo, and ONCE datasets. Specifically, the inference speed of our detector can reach 162 FPS on KITTI scene, and 30 FPS on Waymo and ONCE scenes without performance degradation. Due to skipping the redundant points, some evaluation metrics show significant improvements. Codes will be released at https://github.com/yancie-yjr/DBQ-SSD.

研究动机与目标

• 为解决现有基于点云的3D检测器因冗余背景点处理和固定感受野导致的高计算成本问题。
• 通过消除背景点上的无用特征计算，降低如IA-SSD等先进检测器的延迟。
• 设计一种数据驱动的自适应采样机制，根据点特征动态分配感受野。
• 通过资源预算损失实现推理速度与检测精度之间的更好权衡。
• 在现有检测器架构中实现动态查询机制的端到端可训练性。

提出的方法

• 提出动态球查询（DBQ），一种可学习的路由机制，利用轻量级MLP为每个点预测二值掩码，以决定激活哪些多尺度分组（MSG）分支。
• 引入一种动态路由机制，根据点的特征表示为其分配唯一且自适应的感受野，取代固定半径的球查询。
• 在训练过程中引入资源预算损失，以平衡延迟与性能，鼓励计算资源的高效利用。
• 将DBQ嵌入到现有的单阶段3D检测器（如IA-SSD）中，实现端到端训练，支持即插即用的集成方式。
• 使用top-k分类得分或FPS进行初始点采样，随后通过DBQ仅选择性地处理每个点的相关邻点。
• 采用多尺度分组（MSG）并结合动态分支激活机制，仅根据特征驱动的路由计算具有信息量的分支。

实验结果

研究问题

• RQ1 在如IA-SSD等先进3D点云检测器中，主要的延迟瓶颈是什么？
• RQ2 在3D特征提取过程中，如何有效过滤冗余的背景点特征？
• RQ3 可学习的、依赖于特征的路由机制是否能提升3D检测中多尺度分组的效率？
• RQ4 通过自适应感受野选择，是否可能实现显著加速而不损失检测精度？
• RQ5 如何设计一种可微分的、端到端可训练的机制，以平衡计算成本与检测性能？

主要发现

• DBQ-SSD在KITTI数据集上达到162 FPS，相比基线模型提速30%-100%，且性能无下降。
• 在Waymo和ONCE数据集上，推理速度从20 FPS提升至30 FPS，提升幅度达50%。
• 当资源预算超参数γ设置为0.1时，该方法在ONCE验证集上相比IA-SSD实现1.7倍加速，并提升1 mAP。
• 由于有效抑制了冗余背景特征，该方法在KITTI上的延迟降低37%（从9.85 ms降至6.172 ms/次推理）。
• 实证分析表明，超过一半的推理时间消耗在MLP上，且背景点的空间冗余是主要瓶颈。
• 动态路由机制成功通过仅激活每个点的相关感受野，减少了多尺度分组中的分支冗余。