[论文解读] Geometry-Aware Generation of Adversarial Point Clouds

Yuxin Wen, Jiehong Lin+3 more|arXiv (Cornell University)|Dec 24, 2019

3D Shape Modeling and Analysis被引用 10

一句话总结

本文提出 GeoA³，一种面向 3D 点云的几何感知对抗攻击方法，通过结合目标误分类损失与一种新颖的几何感知正则化项，生成肉眼难以察觉、表面平滑且难以防御的对抗样本。该方法生成的对抗点云在真实性和对异常值移除防御的鲁棒性方面表现更优，在合成与物理攻击评估中均优于现有方法。

ABSTRACT

Machine learning models have been shown to be vulnerable to adversarial examples. While most of the existing methods for adversarial attack and defense work on the 2D image domain, a few recent attempts have been made to extend them to 3D point cloud data. However, adversarial results obtained by these methods typically contain point outliers, which are both noticeable and easy to defend against using the simple techniques of outlier removal. Motivated by the different mechanisms by which humans perceive 2D images and 3D shapes, in this paper we propose the new design of \emph{geometry-aware objectives}, whose solutions favor (the discrete versions of) the desired surface properties of smoothness and fairness. To generate adversarial point clouds, we use a targeted attack misclassification loss that supports continuous pursuit of increasingly malicious signals. Regularizing the targeted attack loss with our proposed geometry-aware objectives results in our proposed method, Geometry-Aware Adversarial Attack ($GeoA^3$). The results of $GeoA^3$ tend to be more harmful, arguably harder to defend against, and of the key adversarial characterization of being imperceptible to humans. While the main focus of this paper is to learn to generate adversarial point clouds, we also present a simple but effective algorithm termed $Geo_{+}A^3$-IterNormPro, with Iterative Normal Projection (IterNorPro) that solves a new objective function $Geo_{+}A^3$, towards surface-level adversarial attacks via generation of adversarial point clouds. We quantitatively evaluate our methods on both synthetic and physical objects in terms of attack success rate and geometric regularity. For a qualitative evaluation, we conduct subjective studies by collecting human preferences from Amazon Mechanical Turk. Comparative results in comprehensive experiments confirm the advantages of our proposed methods.

研究动机与目标

• 解决现有 3D 对抗攻击方法生成明显点异常值的问题，这些异常值易被简单防御手段移除。
• 通过建模人类对 3D 形状的感知（其与 2D 图像感知有本质不同），提升对抗点云的不可察觉性。
• 生成保留表面平滑性与公平性的对抗点云，使其更逼真且更难被检测。
• 开发一种方法，即使在重采样或物理 3D 打印后，仍能实现有效的表面级对抗攻击。
• 提出一种新的优化框架 Geo⁺A³-IterNormPro，以增强生成点云中的表面级对抗效果。

提出的方法

• 提出一种新的几何感知正则化项，以促进良性点云与对抗点云之间局部表面曲率的一致性。
• 将目标误分类损失与几何感知正则化项结合，以指导对抗点云的生成。
• 引入 $Geo_{+}A^{3}$ 目标函数，明确鼓励对抗表面的平滑性与公平性。
• 开发 $Geo_{+}A^{3}$-IterNormPro 算法，利用迭代法向投影（IterNormPro）求解新目标函数，同时保持表面级对抗效果。
• 采用网格重建（Points2Surf）及重采样或 3D 打印技术，评估对抗表面的物理可实现性与鲁棒性。
• 使用合成与物理评估流程，包括扫描打印物体，验证物理变换后的攻击成功率。

实验结果

研究问题

• RQ1 通过引入如平滑性与公平性等几何表面特性，能否使对抗点云更具不可察觉性？
• RQ2 通过几何感知目标正则化对抗生成过程，是否能提升对简单异常值移除防御的鲁棒性？
• RQ3 所提方法能否在网格重建与重采样后仍保持对抗点云的攻击有效性？
• RQ4 所提方法在物理世界对抗攻击中是否有效，包括 3D 打印与扫描？
• RQ5 新目标函数 $Geo_{+}A^{3}$ 是否能相比先前方法产生更优的表面级对抗效果？

主要发现

• GeoA³ 在 PointNet、PointNet++ 与 DGCNN 模型上的攻击成功率高于基线方法，尤其在物理攻击设置下表现更优。
• 在物理世界评估中，15 个打印并扫描的对抗样本中有 11 个成功攻击了 PointNet 分类器，证实了对物理变换的鲁棒性。
• 所提的 $Geo_{+}A^{3}$-IterNormPro 方法在所有测试模型中，均优于 Tsai 等人 [34] 的方法，无论在攻击成功率还是几何规则性方面。
• 通过 Amazon Mechanical Turk 进行的主观偏好研究证实，GeoA³ 生成的对抗点云在感知上更自然、更少噪声，优于先前方法。
• 视觉与网格质量分析（图 8 与图 9）表明，GeoA³ 生成的对抗点云表面不规则性与异常值显著更少。
• 该方法表明，将几何表面特性融入对抗生成过程，可产生更逼真且更难检测的对抗样本。