[论文解读] Real-Time Anchor-Free Single-Stage 3D Detection with IoU-Awareness

Runzhou Ge, Zhuangzhuang Ding+5 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Neural Network Applications参考文献 26被引用 6

一句话总结

本文提出 AFDetV2，一种实时、无锚点、单阶段 3D 目标检测模型，在 Waymo Open Dataset Challenge 2021 中达到最先进性能。通过集成轻量级 3D 特征提取器、具有扩展感受野的自校准卷积 RPN，以及一种新颖的 IoU 感知置信度分支，该模型在 60.06 ms 延迟下实现 73.12 mAPH/L2 的性能，夺得实时 3D 检测第一名，并凭借其轻量化变体以 55.86 ms 延迟和 72.57 mAPH/L2 获得“最高效模型”称号。

ABSTRACT

In this report, we introduce our winning solution to the Real-time 3D Detection and also the "Most Efficient Model" in the Waymo Open Dataset Challenges at CVPR 2021. Extended from our last year's award-winning model AFDet, we have made a handful of modifications to the base model, to improve the accuracy and at the same time to greatly reduce the latency. The modified model, named as AFDetV2, is featured with a lite 3D Feature Extractor, an improved RPN with extended receptive field and an added sub-head that produces an IoU-aware confidence score. These model enhancements, together with enriched data augmentation, stochastic weights averaging, and a GPU-based implementation of voxelization, lead to a winning accuracy of 73.12 mAPH/L2 for our AFDetV2 with a latency of 60.06 ms, and an accuracy of 72.57 mAPH/L2 for our AFDetV2-base, entitled as the "Most Efficient Model" by the challenge sponsor, with a winning latency of 55.86 ms.

研究动机与目标

• 开发一种满足 Waymo Open Dataset Challenge 2021 70ms 推理延迟约束的实时、单阶段、无锚点 3D 目标检测器。
• 在不增加模型复杂度或延迟的前提下提升检测精度，尤其在具有挑战性的实时场景中。
• 引入一种 IoU 感知置信度分支，以提升定位质量与检测置信度估计。
• 通过基于 GPU 的体素化流水线和轻量级 3D 特征提取器优化推理速度。
• 在保持低延迟的同时实现最高的 mAPH/L2 得分，从而在挑战赛中夺得榜首。

提出的方法

• 采用减少早期阶段残差块数量并增加通道宽度的轻量级 3D 特征提取器，降低计算成本，同时保持特征表示能力。
• 在 RPN 中集成自校准卷积（SC-Conv）模块，以扩展感受野并引入高效的通道与空间注意力机制。
• 在无锚点检测头中增加一种新颖的 IoU 感知置信度预测头，以提升定位置信度估计。
• 引入关键点辅助监督以稳定训练过程并提升定位精度。
• 实现基于 GPU 的体素化流水线，以减少点云预处理的延迟。
• 在训练过程中应用随机权重平均和数据增强，以提升泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 无锚点、单阶段 3D 检测器如何在 70ms 以内实现高精度实时推理？
• RQ2 IoU 感知置信度分支对检测性能与定位质量有何影响？
• RQ3 减少下采样操作的轻量级 3D 特征提取器能否在降低延迟的同时保持检测精度？
• RQ4 SC-Conv 模块与辅助监督如何提升模型性能与训练稳定性？
• RQ5 在实时 3D 检测中，模型大小、推理速度与 mAPH/L2 精度之间存在何种权衡？

主要发现

• AFDetV2 在 Waymo Open Dataset 测试集上实现 73.12 mAPH/L2 的性能，延迟为 60.06 ms，夺得实时 3D 检测挑战赛第一名。
• AFDetV2-Base 变体实现 72.57 mAPH/L2 的性能，延迟为 55.86 ms，荣获“最高效模型”称号。
• 当所有其他模块均启用时，仅 IoU 感知置信度分支便使 mAPH/L2 提升 2.79 分，相较基线模型。
• SC-Conv RPN 相较基线模型提升 1.06 mAPH/L2 的精度，证明其在特征学习中的有效性。
• AFDetV2-Lite 变体实现 69.95 mAPH/L2 的性能，延迟仅 46.90 ms，尽管略低于 70.00 mAPH/L2 的阈值，仍展现出强大的效率。
• 随机权重平均与增强的数据增强策略显著提升了所有模型变体的泛化能力与鲁棒性。