[论文解读] 3D Adversarial Attacks Beyond Point Cloud

Jinlai Zhang, Lyujie Chen+6 more|arXiv (Cornell University)|Apr 25, 2021

Adversarial Robustness in Machine Learning参考文献 53被引用 5

一句话总结

本文提出 Mesh Attack，一种新颖的3D对抗攻击方法，直接对网格表示进行扰动而非点云，从而实现物理可实现的攻击。通过引入可微分采样模块以及三种网格正则化损失（Chamfer、Laplacian 和边长损失），该方法生成平滑、可打印的对抗性网格，在数字和物理场景下均优于当前最先进的基于点云的攻击方法，且在多种防御机制下表现SOTA。

ABSTRACT

Recently, 3D deep learning models have been shown to be susceptible to adversarial attacks like their 2D counterparts. Most of the state-of-the-art (SOTA) 3D adversarial attacks perform perturbation to 3D point clouds. To reproduce these attacks in the physical scenario, a generated adversarial 3D point cloud need to be reconstructed to mesh, which leads to a significant drop in its adversarial effect. In this paper, we propose a strong 3D adversarial attack named Mesh Attack to address this problem by directly performing perturbation on mesh of a 3D object. In order to take advantage of the most effective gradient-based attack, a differentiable sample module that back-propagate the gradient of point cloud to mesh is introduced. To further ensure the adversarial mesh examples without outlier and 3D printable, three mesh losses are adopted. Extensive experiments demonstrate that the proposed scheme outperforms SOTA 3D attacks by a significant margin. We also achieved SOTA performance under various defenses. Our code is available at: https://github.com/cuge1995/Mesh-Attack.

研究动机与目标

• 为解决3D对抗攻击中的物理可实现性差距问题，即基于点云的扰动在重建为网格时性能显著下降。
• 开发一种基于网格的对抗攻击方法，确保在网格到点云的重建流程中仍保持强大的欺骗能力。
• 确保生成的对抗性网格平滑、可打印，且无异常点，以避免触发如SOR等防御过滤器。
• 评估所提攻击在多种最先进的防御机制下的鲁棒性。
• 展示基于网格生成的对抗样本在网格分类器上的可迁移性，这是此前未被探索的攻击面。

提出的方法

• 攻击直接通过基于梯度的优化方法对网格顶点位置进行优化，绕过点云重建过程。
• 可微分采样模块使得从点云分类器损失到网格顶点的反向传播成为可能，实现端到端训练。
• 应用三种正则化损失：Chamfer损失用于保持几何保真度，Laplacian损失用于维持网格平滑性，边长损失用于防止自相交和顶点飞散。
• 攻击采用迭代优化方案，通过更新网格顶点以最大化误分类率，同时最小化几何失真。
• 通过避免点云攻击中常见的异常点扰动，确保对抗样本可3D打印。
• 该方法在多种防御机制下进行了验证，并在网格分类器的黑盒设置下进行了测试。

Figure 1 : Motivation. Adversarial examples crafted by the KNN attack [ 36 ] , the $GeoA^{3}$ attack [ 43 ] and our proposed Mesh Attack on the Pointnet [ 26 ] . The $Adv_{pc}$ and $Adv_{mesh}$ denote the adversarial point cloud and the adversarial mesh, respectively. The $Adv_{mesh}$ of KNN attack

实验结果

研究问题

• RQ1 基于网格的3D对抗攻击是否能在现实世界中的适用性方面优于现有的基于点云的攻击？
• RQ2 如何有效地将来自点云分类器的梯度反向传播至网格顶点，以实现对网格的直接优化？
• RQ3 网格特定的正则化损失在多大程度上提升了对抗样本的物理可实现性和鲁棒性？
• RQ4 所提攻击在最先进的点云防御机制（如SOR、SRS、DUP-Net和IF-Defense）下的有效性如何？
• RQ5 在网格上生成的对抗样本是否能成功迁移至并欺骗基于网格的深度学习模型？

主要发现

• 在伪物理场景下，Mesh Attack在PointNet上实现了100%的攻击成功率，显著优于KNN和GeoA³攻击（其成功率低于10%）。
• 在IF-Defense下，Mesh Attack在DGCNN上仍保持63.83%的成功率，优于所有对比攻击，包括基于点扰动的攻击。
• 该攻击在SOR和SRS防御下依然有效，这些防御通常能有效抵御依赖异常点的点云攻击，原因在于基于网格的样本中无异常点。
• 在黑盒迁移攻击中，Mesh Attack在MeshNet上实现了27.19%的误分类率，证明了其在网格分类器上的可迁移性。
• Chamfer、Laplacian和边长损失的组合成功防止了自相交和飞散顶点等网格伪影，确保了3D打印的可行性。
• 结果表明，基于网格的攻击比基于点云的攻击更难防御，凸显了3D对抗鲁棒性研究的新前沿。

Figure 2 : Comparison between our Mesh Attack (top row) and previous point cloud attacks (bottom row) in pseudo physical scenarios. $R$ denotes the process of reconstructing mesh from the point cloud. $S$ denotes the process of the sampling point cloud from mesh surface. $P$ denotes point cloud clas