[论文解读] Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection

Benjin Zhu, Zhengkai Jiang+3 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Neural Network Applications参考文献 31被引用 320

一句话总结

该论文在 nuScenes 的长尾类别分布下，提出了类别平衡采样与分组，并使用多组头以解决问题，取得了基于激光雷达的3D目标检测的最新方法效果。它将 DS Sampling、GT-AUG 以及一个平衡的多组头结合起来，以提升尾部类别的性能。

ABSTRACT

This report presents our method which wins the nuScenes3D Detection Challenge [17] held in Workshop on Autonomous Driving(WAD, CVPR 2019). Generally, we utilize sparse 3D convolution to extract rich semantic features, which are then fed into a class-balanced multi-head network to perform 3D object detection. To handle the severe class imbalance problem inherent in the autonomous driving scenarios, we design a class-balanced sampling and augmentation strategy to generate a more balanced data distribution. Furthermore, we propose a balanced group-ing head to boost the performance for the categories withsimilar shapes. Based on the Challenge results, our methodoutperforms the PointPillars [14] baseline by a large mar-gin across all metrics, achieving state-of-the-art detection performance on the nuScenes dataset. Code will be released at CBGS.

研究动机与目标

• 解决 nuScenes 3D 目标检测中的严重类别不平衡。
• 在保持总体精度的同时，提升尾部类别的性能。
• 利用多组头设计，在形状相似的类别之间共享信息。
• 改善数据增强与训练过程，以提升多类别联合检测。

提出的方法

• 使用稀疏三维卷积从体素化点云中提取特征。
• 引入 DS Sampling，通过重复稀有类别的样本来平衡训练分布。
• 应用 GT-AUG，通过从注释数据库采样的真实框进行粘贴来增强数据。
• 设计一个多组头，使每组形状相似的类别共享一个专用头，以减少类间干扰。
• 将类别基于形状/大小相似性和实例平衡分为六组，以引导多组头学习。
• 引入包括加权焦点损失用于分类、平滑L1用于回归以及带偏置的方向分类以减少角度歧义的损失分量。

实验结果

研究问题

• RQ1 类别不平衡如何影响 nuScenes 上的3D目标检测性能，特别是尾部类别？
• RQ2 是否可以通过类别均衡采样策略在不牺牲头部类别性能的情况下提升尾部类别的准确性？
• RQ3 将形状相似的类别分组并使用组特定头部是否能提升点云中的多类别检测？
• RQ4 哪种数据增强、损失设计和网络架构的组合能够在 nuScenes 上实现最先进的激光雷达基于3D检测？

主要发现

模态	映射	外部	mAP	mATE	mASE	mAOE	mAVE	mAAE	NDS
Point Pillars [14]	Lidar	×	30.5	0.517	0.290	0.500	0.316	0.368	45.3
BRAVE [17]	Lidar	×	32.4	0.400	0.249	0.763	0.272	0.090	48.4
Tolist [17]	Lidar	×	42.0	0.364	0.255	0.438	0.270	0.319	54.5
MEGVII(Ours)	Lidar	×	52.8	0.300	0.247	0.380	0.245	0.140	63.3

• DS Sampling 将训练集从 28,130 扩展到 128,100 个样本，平滑了类别分布。
• 提议的六组安排（Car）、（Truck, Construction Vehicle）、（Bus, Trailer）、（Barrier）、（Motorcycle, Bicycle）、（Pedestrian, Traffic Cone）提升了尾部类别的性能。
• 该方法在 nuScenes 激光雷达轨道上实现了基于 mAP 和 NDS 指标的最先进结果；报道的提升包括相对于 PointPillars 的 mAP 提升以及有竞争力的 NDS。
• GT-AUG 与 Res-Encoder 在 mAP 上有显著贡献，如消融研究所示。
• 最终提交在验证集上报告的 mAP 为 53.2%、NDS 为 63.78%，超越基线。