[论文解读] Adversarial shape perturbations on 3D point clouds

Daniel Liu, Ronald Yu+1 more|arXiv (Cornell University)|Aug 16, 2019

Adversarial Robustness in Machine Learning参考文献 38被引用 5

一句话总结

本文提出了三种新颖的形状攻击方法，通过变形物体形状而非仅移动点来对抗性地扰动3D点云，证明此类攻击能成功绕过先前的点移除防御机制。即使在防御机制移除随机点、异常点或显著点的情况下，这些攻击仍能实现高达99.6%的成功率，揭示了3D深度学习鲁棒性中的关键漏洞。

ABSTRACT

The importance of training robust neural network grows as 3D data is increasingly utilized in deep learning for vision tasks in robotics, drone control, and autonomous driving. One commonly used 3D data type is 3D point clouds, which describe shape information. We examine the problem of creating robust models from the perspective of the attacker, which is necessary in understanding how 3D neural networks can be exploited. We explore two categories of attacks: distributional attacks that involve imperceptible perturbations to the distribution of points, and shape attacks that involve deforming the shape represented by a point cloud. We explore three possible shape attacks for attacking 3D point cloud classification and show that some of them are able to be effective even against preprocessing steps, like the previously proposed point-removal defenses.

研究动机与目标

• 探究3D点云分类器对超越传统分布扰动的基于形状的对抗攻击的脆弱性。
• 开发新型对抗攻击方法，通过以保持语义合理性的方式修改3D物体的几何结构，使其在面对真实预处理防御时依然有效。
• 评估现有防御机制（尤其是点移除技术）对形状感知对抗样本的鲁棒性。
• 证明基于形状的攻击可绕过对不可察觉分布扰动有效的防御机制。
• 通过揭示当前防御机制的局限性，为设计更鲁棒的3D深度学习模型提供洞见。

提出的方法

• 提出三种新型形状攻击，通过重新定位点来改变物体的几何结构，从而变形3D点云表面，同时保持语义合理性。
• 使用基于梯度的迭代优化方法，在形状变形约束下最大化3D神经网络（如PointNet、PointNet++、DGCNN）的分类损失。
• 通过调整重采样或扰动点的数量，实现形状攻击与分布攻击之间的混合策略，以研究鲁棒性权衡。
• 在多种防御机制下评估攻击效果，包括随机点移除、异常点移除和显著点移除，以测试其抗性。
• 在每次迭代中应用修改后的迭代梯度攻击，随机丢弃524个点，以模拟对点移除防御的鲁棒性。
• 在标准3D点云数据集上使用标准架构验证攻击效果，测量在不同扰动幅度（ε）和防御设置下的成功率。

实验结果

研究问题

• RQ1 即使防御机制移除点，基于形状的对抗攻击是否仍能有效欺骗3D点云分类器？
• RQ2 在点移除防御下，形状攻击的成功率与分布攻击相比如何？
• RQ3 现有防御机制（如移除随机点、异常点或显著点）在多大程度上能保护模型免受几何形状扰动的影响？
• RQ4 扰动幅度（ε）如何影响形状攻击的可察觉性与成功率？
• RQ5 在攻击过程中引入随机点丢弃是否能提升对点移除防御的鲁棒性？

主要发现

• 在无防御条件下，迭代梯度 $L_2$ 攻击在PointNet上达到99.7%的成功率，在PointNet++上达到100.0%；尽管在点移除防御下成功率下降，但仍保持高位。
• 在ε=3时，扰动-重采样形状攻击在PointNet上实现98.7%的成功率，在PointNet++上达到99.6%，即使显著点被移除也保持有效。
• 在显著点移除防御下，扰动-重采样攻击在PointNet++上仍保持92.3%的成功率，显著高于基线攻击。
• 每次迭代随机丢弃524个点，使受防御的PointNet上迭代梯度 $L_2$ 攻击的成功率从98.6%略微下降至98.5%，但对PointNet++和DGCNN影响甚微。
• 研究揭示了可察觉性与鲁棒性之间的权衡：与大变形相比，形状攻击更难察觉，但比分布攻击更能有效绕过点移除防御。
• 结果表明，点移除防御对改变物体几何结构的形状攻击无效，揭示了当前防御策略中的关键漏洞。