[论文解读] Common Corruption Robustness of Point Cloud Detectors: Benchmark and Enhancement

Shuangzhi Li, Zhijie Wang+4 more|arXiv (Cornell University)|Oct 12, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了首个面向点云目标检测器的物理感知基准，用于在25种常见退化类型、6个严重程度下评估其鲁棒性，模拟了雨、雪、雾和传感器噪声等现实世界中的退化现象。利用该基准，作者评估了8种最先进检测器，发现现有的数据增强和去噪方法带来的鲁棒性提升有限，凸显了在3D检测中开发新型鲁棒性增强技术的迫切需求。

ABSTRACT

Object detection through LiDAR-based point cloud has recently been important in autonomous driving. Although achieving high accuracy on public benchmarks, the state-of-the-art detectors may still go wrong and cause a heavy loss due to the widespread corruptions in the real world like rain, snow, sensor noise, etc. Nevertheless, there is a lack of a large-scale dataset covering diverse scenes and realistic corruption types with different severities to develop practical and robust point cloud detectors, which is challenging due to the heavy collection costs. To alleviate the challenge and start the first step for robust point cloud detection, we propose the physical-aware simulation methods to generate degraded point clouds under different real-world common corruptions. Then, for the first attempt, we construct a benchmark based on the physical-aware common corruptions for point cloud detectors, which contains a total of 1,122,150 examples covering 7,481 scenes, 25 common corruption types, and 6 severities. With such a novel benchmark, we conduct extensive empirical studies on 8 state-of-the-art detectors that contain 6 different detection frameworks. Thus we get several insight observations revealing the vulnerabilities of the detectors and indicating the enhancement directions. Moreover, we further study the effectiveness of existing robustness enhancement methods based on data augmentation and data denoising. The benchmark can potentially be a new platform for evaluating point cloud detectors, opening a door for developing novel robustness enhancement methods.

研究动机与目标

• 为解决缺乏全面、大规模基准来评估点云检测器在真实退化条件下的鲁棒性这一问题。
• 模拟由于天气、传感器噪声和环境因素导致的LiDAR点云中物理上合理的退化。
• 通过实证分析，研究8种最先进3D目标检测器在多样化退化条件下的脆弱性。
• 评估现有鲁棒性增强技术（如数据增强和去噪）在提升检测器鲁棒性方面的有效性。
• 为未来在鲁棒3D目标检测领域的研究提供一个新基准平台。

提出的方法

• 提出基于LiDAR系统物理成像原理的物理感知模拟方法，以生成逼真的点云退化。
• 构建一个大规模基准，包含1,122,150个样本，覆盖7,481个场景、25种退化类型和6个严重程度。
• 将该基准应用于评估8种最先进3D检测器在6种不同检测框架下的表现。
• 实现两种鲁棒性增强策略：物理感知数据增强（PA-DA）和基于KNN的异常值去除（KNN-RO）。
• 使用平均平均精度（mAP）和退化评估平均精度（CE_AP）作为指标，量化检测器在退化条件下的性能。

Figure 1 : Feature visualization of the snow classification by T-SNE

实验结果

研究问题

• RQ1 最先进点云检测器在广泛范围的、物理上合理的现实退化条件下表现如何？
• RQ2 当暴露于雨、雪、雾和传感器噪声等常见退化时，当前3D检测器的关键脆弱点是什么？
• RQ3 现有数据增强和去噪技术在提升检测器对这些退化类型的鲁棒性方面效果如何？
• RQ4 鲁棒性提升在不同物体类别（如汽车与行人）之间是否具有一致性？
• RQ5 所提出的基准能否作为评估和指导未来鲁棒性增强研究的可靠平台？

主要发现

• BtcDet和SE-SSD在退化条件下检测精度显著下降，FD增加超过4%，表明其高度脆弱。
• 基于KNN的异常值去除（KNN-RO）未能提升汽车检测的鲁棒性，平均CE_AP下降0.17%，对行人检测仅略有改善。
• 物理感知数据增强（PA-DA）在汽车检测中仅带来0.16%的平均CE_AP提升，表明其效果有限。
• PA-DA与KNN-RO结合后，汽车检测的平均CE_AP提升至13.38%，但该值仍然偏低，表明鲁棒性增益不足。
• 如PointRCNN和VoTr-SSD等检测器在使用PA-DA后AP最高提升2.46%，表明特定架构可从中获益。
• 该基准揭示，当前鲁棒性增强方法整体效果甚微，亟需开发更精准、更具针对性的新方法以提升检测器鲁棒性。

Figure 2 : Feature visualization of the fog classification by T-SNE