[论文解读] Benchmarking and Analyzing Point Cloud Classification under Corruptions

Jiawei Ren, Liang Pan+1 more|arXiv (Cornell University)|Feb 7, 2022

3D Surveying and Cultural Heritage被引用 31

一句话总结

本论文提出 ModelNet-C，一种用于点云分类的全面扰动基准，分析各体系结构的鲁棒性，并提出 RPC 与 WOLFMix 以提升鲁棒性。

ABSTRACT

3D perception, especially point cloud classification, has achieved substantial progress. However, in real-world deployment, point cloud corruptions are inevitable due to the scene complexity, sensor inaccuracy, and processing imprecision. In this work, we aim to rigorously benchmark and analyze point cloud classification under corruptions. To conduct a systematic investigation, we first provide a taxonomy of common 3D corruptions and identify the atomic corruptions. Then, we perform a comprehensive evaluation on a wide range of representative point cloud models to understand their robustness and generalizability. Our benchmark results show that although point cloud classification performance improves over time, the state-of-the-art methods are on the verge of being less robust. Based on the obtained observations, we propose several effective techniques to enhance point cloud classifier robustness. We hope our comprehensive benchmark, in-depth analysis, and proposed techniques could spark future research in robust 3D perception.

研究动机与目标

• 在传感器与处理过程中的扰动下，推动点云分类在真实世界部署中的鲁棒性。
• 为基于 ModelNet40 的评估提供一个标准化、全面的扰动测试套件。
• 系统性地对各种架构、预训练和数据增强进行鲁棒性基准测试。
• 识别提高扰动鲁棒性的设计原则与增强策略。

提出的方法

• 定义七种原子扰动的分类法（Add Global, Add Local, Drop Global, Drop Local, Rotate, Scale, Jitter）。
• 通过对 ModelNet40 测试集应用这些扰动的严重程度等级来创建 ModelNet-C。
• 在扰动场景下以 mean Corruption Error (mCE) 为指标评估 14 种方法（9 种架构、3 种预训练、2 种数据增强）。
• 分析架构组件（局部操作、高级分组、特征提取器）及其对鲁棒性的影响。
• 考察自监督预训练（OcCo、Point-BERT）及数据增强策略（PointMixUp、RSMix、PointWOLF）对鲁棒性的影响。
• 提出 RPC (Robust Point Cloud Classifier) 与 WOLFMix 增强作为提升鲁棒性的方法。

实验结果

研究问题

• RQ1 当前点云分类器在对象级、传感器级和处理级的现实扰动下的鲁棒性如何？
• RQ2 哪些架构选择和训练增强最能提升对扰动的鲁棒性？
• RQ3 像 ModelNet-C 这样的标准化扰动基准能否揭示在干净数据上不明显的鲁棒性差距？
• RQ4 自监督预训练和新颖的增强策略是否会把鲁棒性收益迁移到不同的架构？
• RQ5 架构设计与增强之间在鲁棒性方面的相互作用（协同效应）是怎样的？

主要发现

• ModelNet-C 提供了一个覆盖七种原子扰动、五个严重性等级的全面、标准化组合。
• 在干净数据上处于最先进地位的模型在常见扰动下表现出显著的脆弱性（mCE 变异非显著）。
• 诸如使用 k-NN 的三维表示、频率分组和自注意力（RPC）的架构选择，在单独鲁棒性方面表现最佳（最低 mCE）。
• 高级分组（频率和曲线）的一致性提升鲁棒性，但增加计算开销。
• 自监督预训练在某些扰动上提供针对性的鲁棒性收益（例如 OcCo 的旋转；Point-BERT 的局部遮挡）。
• WOLFMix，分两阶段的增广（先变形再混合），在多种架构上带来显著的鲁棒性提升，且协同效应因模型而异。