[论文解读] 1st Place Solution for Waymo Open Dataset Challenge -- 3D Detection and Domain Adaptation

Zhuangzhuang Ding, Yihan Hu+5 more|arXiv (Cornell University)|Jun 28, 2020

Advanced Neural Network Applications参考文献 20被引用 19

一句话总结

本文展示了在CVPR 2020 Waymo开放数据集挑战赛3D检测与域适应赛道中的胜出解决方案。作者提出AFDet，一种无锚点、无非极大值抑制（NMS）的3D点云检测器，通过关键点回归端到端预测3D属性，在利用点云稀疏化增强、点涂色（point painting）、模型集成与测试时增强技术后，3D检测任务上达到77.11% mAPH/L2的最先进性能，域适应任务上达到69.49% mAPH/L2。

ABSTRACT

In this technical report, we introduce our winning solution "HorizonLiDAR3D" for the 3D detection track and the domain adaptation track in Waymo Open Dataset Challenge at CVPR 2020. Many existing 3D object detectors include prior-based anchor box design to account for different scales and aspect ratios and classes of objects, which limits its capability of generalization to a different dataset or domain and requires post-processing (e.g. Non-Maximum Suppression (NMS)). We proposed a one-stage, anchor-free and NMS-free 3D point cloud object detector AFDet, using object key-points to encode the 3D attributes, and to learn an end-to-end point cloud object detection without the need of hand-engineering or learning the anchors. AFDet serves as a strong baseline in our winning solution and significant improvements are made over this baseline during the challenges. Specifically, we design stronger networks and enhance the point cloud data using densification and point painting. To leverage camera information, we append/paint additional attributes to each point by projecting them to camera space and gathering image-based perception information. The final detection performance also benefits from model ensemble and Test-Time Augmentation (TTA) in both the 3D detection track and the domain adaptation track. Our solution achieves the 1st place with 77.11% mAPH/L2 and 69.49% mAPH/L2 respectively on the 3D detection track and the domain adaptation track.

研究动机与目标

• 开发一种鲁棒的3D目标检测系统，能够在无需依赖手工设计锚点的情况下实现跨域泛化。
• 通过点涂色实现多传感器融合，提升在Waymo开放数据集上的检测性能。
• 在适应集标注数据有限的情况下，于3D检测与域适应赛道均实现最先进结果。
• 通过数据增强与集成技术，提升模型在低资源与域偏移设置下的泛化能力与鲁棒性。

提出的方法

• 提出AFDet，一种单阶段、无锚点、无NMS的3D目标检测器，直接从关键点热力图回归3D边界框属性。
• 采用0.04m × 0.04m × 0.1m的体素化网格将点云转换为伪鸟瞰图（BEV）特征图，以实现高效处理。
• 采用点涂色技术将3D点投影至2D图像空间，并融合多视角图像特征以增强点云表示。
• 引入稀疏化增强（densification）以提升点云密度，从而改善对小物体或稀疏物体的检测。
• 应用测试时增强（TTA）与加权非极大值抑制（WBF）以提升两种任务中的推理鲁棒性与性能。
• 在RPN头中采用改进的BiFPN结构，实现多尺度特征间高效特征聚合，无需加权融合。

实验结果

研究问题

• RQ1 无锚点、无NMS的3D检测器是否能在不依赖手工设计锚点先验的情况下，在Waymo开放数据集上实现优越性能？
• RQ2 点涂色与稀疏化增强在与LiDAR特征融合后，对提升3D检测性能的效用如何？
• RQ3 在目标域存在类别不平衡与标注稀疏的情况下，未经微调的模型在多大程度上可泛化至不同域？
• RQ4 测试时增强与模型集成是否能显著提升标准设置与域适应设置下的检测mAPH？

主要发现

• 所提出的AFDet模型在3D检测赛道上达到77.11% mAPH/L2，较第二名提升5.59%，较第三名提升11.58%。
• 在域适应赛道上，方法达到69.49% mAPH/L2，展现出无需微调即可有效应对域偏移的强鲁棒性。
• 点涂色与稀疏化增强显著提升了性能，尤其在检测行人、自行车等小尺寸或稀有物体方面效果突出。
• 模型集成与测试时增强使mAPH平均提升2.5–3.5%，其中WBF能有效融合多模型预测结果。
• 尽管适应集存在严重类别不平衡（适应训练集中仅0.07%为自行车，主数据集为0.78%），方法性能仍保持稳定。
• 无锚点设计与端到端关键点回归消除了对NMS的依赖，简化了推理流程并提升了检测一致性。