[论文解读] Generating 3D Adversarial Point Clouds

Chong Xiang, Charles R. Qi+1 more|arXiv (Cornell University)|Sep 19, 2018

Adversarial Robustness in Machine Learning参考文献 39被引用 21

一句话总结

本文提出针对3D点云模型（特别是PointNet）的新型对抗性攻击方法，同时采用对抗性点扰动（对现有点进行微小移动）和对抗性点生成（添加如球体或飞机等有意义的形状）。该方法在ModelNet40上实现超过99%的成功率，且扰动极小、难以察觉，为3D对抗鲁棒性研究建立了基准。

ABSTRACT

Deep neural networks are known to be vulnerable to adversarial examples which are carefully crafted instances to cause the models to make wrong predictions. While adversarial examples for 2D images and CNNs have been extensively studied, less attention has been paid to 3D data such as point clouds. Given many safety-critical 3D applications such as autonomous driving, it is important to study how adversarial point clouds could affect current deep 3D models. In this work, we propose several novel algorithms to craft adversarial point clouds against PointNet, a widely used deep neural network for point cloud processing. Our algorithms work in two ways: adversarial point perturbation and adversarial point generation. For point perturbation, we shift existing points negligibly. For point generation, we generate either a set of independent and scattered points or a small number (1-3) of point clusters with meaningful shapes such as balls and airplanes which could be hidden in the human psyche. In addition, we formulate six perturbation measurement metrics tailored to the attacks in point clouds and conduct extensive experiments to evaluate the proposed algorithms on the ModelNet40 3D shape classification dataset. Overall, our attack algorithms achieve a success rate higher than 99% for all targeted attacks

研究动机与目标

• 探究3D深度学习模型（尤其是PointNet）对对抗性点云攻击的脆弱性。
• 解决在不规则、高维点云数据中生成对抗性样本的独特挑战，此类挑战与2D图像存在根本性差异。
• 开发并评估针对点云几何与结构特性的定制化攻击方法。
• 通过引入六种自定义扰动度量标准并在ModelNet40上进行广泛评估，为未来3D对抗鲁棒性研究建立基线。

提出的方法

• 通过优化现有点在点云中的小幅度、Lp范数约束位移，提出对抗性点扰动方法。
• 通过在物体表面附近脆弱区域添加新点或小簇（如球体、飞机）的方式，引入对抗性点生成方法。
• 采用可微分优化框架，并利用替代损失函数指导生成对抗性点的位置与形状。
• 使用多种扰动度量标准（如Hausdorff距离、Chamfer距离及形状感知度量）评估攻击的不可察觉性与有效性。
• 应用二分查找法调节损失函数中的超参数λ，以平衡攻击成功率与扰动幅度。
• 评估对抗性样本在不同3D模型（如PointNet++、DGCNN）之间的可迁移性，并探索使用PointNet作为MNIST数据的防御机制。

实验结果

研究问题

• RQ1 考虑到点云数据的不规则性和高维特性，能否有效生成针对3D模型（如PointNet）的对抗性点云？
• RQ2 如何设计对抗性攻击，使其对人类不可察觉，同时仍能导致3D模型误分类？
• RQ3 评估3D对抗性扰动质量与不可察觉性的最有效度量标准是什么？
• RQ4 对抗性点云在不同3D深度学习模型之间的可迁移性程度如何？
• RQ5 能否利用类似PointNet的架构作为防御机制，以应对2D对抗性样本？

主要发现

• 所提出的对抗性点扰动方法在可接受的Lp范数预算下，实现100%的攻击成功率，且扰动不可察觉。
• 使用三种有意义形状（如飞机）进行对抗性点生成，成功率可达99.3%；仅使用一种形状时，成功率为78.8%。
• 当添加三个簇时，对抗性簇的攻击成功率达97.3%，表明即使在复杂、真实的形状下，该方法仍具强大有效性。
• 所生成的对抗性点云在其他3D模型（如PointNet++、DGCNN）上的可迁移性有限，非目标攻击成功率低于50%。
• PointNet在二值化MNIST数据上表现出强鲁棒性，在FGSM攻击下ε ≤ 0.5时，准确率仍保持在98%以上，表明其在防御应用中具有潜力。