[论文解读] Benchmarking Robustness of 3D Point Cloud Recognition Against Common Corruptions

J. F. Sun, Qingzhao Zhang+4 more|arXiv (Cornell University)|Jan 28, 2022

Industrial Vision Systems and Defect Detection被引用 49

一句话总结

引入 ModelNet40-C，首个面向3D点云识别的全面腐蚀鲁棒性基准，评估六种架构在15种腐蚀下的表现，并显示简单的数据增强（PointCutMix-R）加上测试时自适应（TENT）可显著提升鲁棒性。

ABSTRACT

Deep neural networks on 3D point cloud data have been widely used in the real world, especially in safety-critical applications. However, their robustness against corruptions is less studied. In this paper, we present ModelNet40-C, the first comprehensive benchmark on 3D point cloud corruption robustness, consisting of 15 common and realistic corruptions. Our evaluation shows a significant gap between the performances on ModelNet40 and ModelNet40-C for state-of-the-art (SOTA) models. To reduce the gap, we propose a simple but effective method by combining PointCutMix-R and TENT after evaluating a wide range of augmentation and test-time adaptation strategies. We identify a number of critical insights for future studies on corruption robustness in point cloud recognition. For instance, we unveil that Transformer-based architectures with proper training recipes achieve the strongest robustness. We hope our in-depth analysis will motivate the development of robust training strategies or architecture designs in the 3D point cloud domain. Our codebase and dataset are included in https://github.com/jiachens/ModelNet40-C

研究动机与目标

• 在安全关键应用中推动对3D点云识别的腐蚀鲁棒性研究。
• 通过现实、广泛的腐蚀，创建系统化的基准（ModelNet40-C）。
• 在 ModelNet40-C 上评估具有代表性的架构，以发现鲁棒性差距。
• 识别可有效缩小腐蚀下性能差距的策略（数据增强与测试时自适应）。
• 提供可操作的见解，指导点云的鲁棒架构与训练设计。

提出的方法

• 设计15种腐蚀类型，分为密度、噪声和变换三类，每类包含五个严重程度。
• 通过对 ModelNet40 验证集应用腐蚀来构建 ModelNet40-C，并确保语义保持。
• 在标准训练下评估六种代表性架构（PointNet、PointNet++、DGCNN、RSCNN、PCT、SimpleView）。
• 调查一系列数据增强和测试时自适应方法（PointCutMix-R、PointCutMix-K、PointMixup、RSMix、PGD 对抗训练；BN、TENT）在3,180种配置下的表现。
• 分析结果以推导腐蚀鲁棒性的架构与训练时洞见。

实验结果

研究问题

• RQ1 普通的3D点云架构对超越干净 ModelNet40 场景的现实腐蚀有多鲁棒？
• RQ2 哪些腐蚀类型对当前架构影响最大，鲁棒性如何随架构而异？
• RQ3 数据增强与测试时自适应是否能显著缩小腐蚀引起的性能差？
• RQ4 哪些架构设计（如基于Transformer）本质上对特定腐蚀家族具有鲁棒性？
• RQ5 哪些实用策略能最好地提升3D点云识别的腐蚀鲁棒性？

主要发现

模型	ER_cor	遮挡	LiDAR	Density Inc.	Density Dec.	Cutout	Uniform	Gaussian	Impulse	Upsampling	背景	Rotation	Shear	FFD	RBF	Inv_RBF
PointNet	28.3	52.3	54.9	10.5	11.6	12.0	12.4	14.4	29.1	14.0	93.6	36.8	25.4	21.3	18.6	17.8
PointNet++	23.6	54.7	66.5	16.0	10.0	10.7	20.4	16.4	35.1	17.2	18.6	27.6	13.4	15.2	16.4	15.4
DGCNN	25.9	59.2	81.0	14.1	17.3	15.4	14.6	16.6	24.9	19.1	53.1	19.1	12.1	13.1	14.5	14.0
RSCNN	26.2	51.8	68.4	16.8	13.2	13.8	24.6	18.3	46.2	20.1	18.3	29.2	17.0	18.1	19.2	18.6
PCT	25.5	56.6	76.7	11.8	14.3	14.5	12.1	13.9	39.1	17.4	57.9	18.1	11.5	12.4	13.0	12.6
SimpleView	27.2	55.5	82.2	13.7	17.2	20.1	14.5	14.2	24.6	17.7	46.8	30.7	18.5	17.0	17.9	17.2

• ModelNet40-C 显示 SOTA 模型在 ModelNet40 与 ModelNet40-C 之间大约存在约3倍的错误率差距。
• 遮挡、激光雷达、旋转和背景噪声在各架构中尤具挑战性。
• 基于 Transformer 的架构（PCT）在变换类腐蚀上表现出最强鲁棒性。
• 不同架构在易受攻击性方面存在差异；PointNet 在密度方面表现较强但整体鲁棒性较弱，而基于 Ball-query 的方法对背景噪声更具鲁棒性。
• 数据增强通常提升腐蚀鲁棒性，其中 PointCutMix-R 实现了最佳整体鲁棒性（ER_corrup = 18.7%），但没有单一增强在所有腐蚀下占优。
• 测试时自适应（BN、TENT）有帮助，但通常被数据增强策略所超越。