[论文解读] CIA-SSD: Confident IoU-Aware Single-Stage Object Detector From Point Cloud

Zheng Wu, Weiliang Tang+3 more|arXiv (Cornell University)|Dec 5, 2020

Advanced Neural Network Applications参考文献 33被引用 37

一句话总结

CIA-SSD 引入一个对点云具有置信度 IoU 感知的单阶段检测器，通过空间-语义特征融合、基于 IoU 的置信度整合/校正、以及距离变异的 NMS，在实时速度下实现 KITTI 中等 AP 的SOTA。

ABSTRACT

Existing single-stage detectors for locating objects in point clouds often treat object localization and category classification as separate tasks, so the localization accuracy and classification confidence may not well align. To address this issue, we present a new single-stage detector named the Confident IoU-Aware Single-Stage object Detector (CIA-SSD). First, we design the lightweight Spatial-Semantic Feature Aggregation module to adaptively fuse high-level abstract semantic features and low-level spatial features for accurate predictions of bounding boxes and classification confidence. Also, the predicted confidence is further rectified with our designed IoU-aware confidence rectification module to make the confidence more consistent with the localization accuracy. Based on the rectified confidence, we further formulate the Distance-variant IoU-weighted NMS to obtain smoother regressions and avoid redundant predictions. We experiment CIA-SSD on 3D car detection in the KITTI test set and show that it attains top performance in terms of the official ranking metric (moderate AP 80.28%) and above 32 FPS inference speed, outperforming all prior single-stage detectors. The code is available at https://github.com/Vegeta2020/CIA-SSD.

研究动机与目标

• 在 LiDAR 点云中通过单阶段检测器实现高效且准确的三维目标检测的动机。
• 解决单阶段检测器中定位精度与分类置信度之间的错配问题。
• 提出轻量级模块，在不需要第二阶段的情况下融合空间与语义特征并整合置信度。
• 引入 DI-NMS 以平滑回归并减少冗余预测。
• 在 KITTI 上展示最先进的性能，并在单个 GPU 上实现实时推理。

提出的方法

• 空间-语义特征聚合（SSFA），将高层语义特征与低层空间特征融合。
• IoU 感知的置信度整合/校正，以在不使用第二阶段的情况下使分类置信度与定位质量对齐。
• 距离变异的 IoU 加权 NMS（DI-NMS），用于平滑边框回归并抑制冗余预测。
• 基于锚框的 IoU 预测分支，使用 IoU 目标进行训练，在测试阶段通过一个置信函数用于整合置信度。
• 损失函数包含分类、边框回归、方向和 IoU 预测损失。
• 稀疏卷积骨干网络（SPConvNet），以 SECOND 指导用于 BEV 特征提取。

实验结果

研究问题

• RQ1 一个轻量级的 SSFA 模块是否能够在单阶段三维检测器中改善定位和分类的稳定性？
• RQ2 IoU 感知的置信度整合是否改善单阶段框架中定位精度与检测置信度之间的对齐？
• RQ3 距离感知的 NMS 是否能够进一步减少误报并稳定点云的三维回归？
• RQ4 在 KITTI 上，CIA-SSD 相对于单阶段和两阶段检测器，在中等 AP 和速度方面的表现如何？

主要发现

Method	Data	AP3D Easy	AP3D Mod	AP3D Hard
CIA-SSD (ours)	LiDAR	89.59	80.28	72.87
CIA-SSD (validation)	LiDAR	90.04	79.81	78.80

• CIA-SSD 在 KITTI 测试集（LiDAR，3D 汽车检测）上达到 89.59% 的 Easy 和 80.28% 的 Moderate AP。
• CIA-SSD 在 KITTI 测试集的 3D 汽车检测上达到 72.87% 的 Hard AP。
• 在 KITTI 验证集，CIA-SSD 实现 90.04 Easy、79.81 Moderate、78.80 Hard AP，表明具有强泛化能力。
• SSFA 通过在适度开销下提升特征保真度（相比基线约 10-27% 的 GPU 使用率）带来显著收益。
• 使用 beta=4 的 IoU 感知置信度整合可提升 Moderate AP，并提高 IoU 与置信度之间的 Pearson 相关性。
• DI-NMS 在 Easy/Moderate/Hard AP 上带来提升（例如 Easy +0.38、Moderate +0.18、Hard +0.16），并提供更平滑的后处理。
• CIA-SSD 的平均推理时间为 30.76 ms，优于其他现代单阶段检测器以及所有列出的两阶段基线。