[论文解读] IF-Defense: 3D Adversarial Point Cloud Defense via Implicit Function based Restoration

Ziyi Wu, Yueqi Duan+3 more|arXiv (Cornell University)|Oct 11, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用 32

一句话总结

IF-Defense 通过在几何感知和分布感知约束下优化点坐标并使用隐函数曲面，从被攻击的点云中恢复干净的3D点云，在多种点云网络中实现最先进的防御。

ABSTRACT

Point cloud is an important 3D data representation widely used in many essential applications. Leveraging deep neural networks, recent works have shown great success in processing 3D point clouds. However, those deep neural networks are vulnerable to various 3D adversarial attacks, which can be summarized as two primary types: point perturbation that affects local point distribution, and surface distortion that causes dramatic changes in geometry. In this paper, we simultaneously address both the aforementioned attacks by learning to restore the clean point clouds from the attacked ones. More specifically, we propose an IF-Defense framework to directly optimize the coordinates of input points with geometry-aware and distribution-aware constraints. The former aims to recover the surface of point cloud through implicit function, while the latter encourages evenly-distributed points. Our experimental results show that IF-Defense achieves the state-of-the-art defense performance against existing 3D adversarial attacks on PointNet, PointNet++, DGCNN, PointConv and RS-CNN. For example, compared with previous methods, IF-Defense presents 20.02% improvement in classification accuracy against salient point dropping attack and 16.29% against LG-GAN attack on PointNet. Our code is available at https://github.com/Wuziyi616/IF-Defense.

研究动机与目标

• 应对对3D点云网络受到扰动几何和表面的对抗攻击的脆弱性

提出的方法

• 使用统计离群值去除法（SOR）对输入进行预处理，以缓解极端扰动
• 在干净数据上训练隐函数网络以估计物体表面并指导恢复
• 通过最小化几何感知损失来优化输入点坐标，使点对齐到推断的表面
• 应用分布感知损失，最大化最近邻 k 个点之间的距离以促进点的均匀分布
• 两种实现变体：基于重网格的 IF-Defense（通过 marching cubes 和网格采样）和基于优化的 IF-Defense（直接点坐标优化）
• 在多种骨干网络（PointNet、PointNet++、DGCNN、PointConv、RS-CNN）和攻击（扰动、添加、k-NN、掉落、LG-GAN、AdvPC）上进行评估
• 使用 ConvONet（以及 ONet 作为替代）进行隐式表面表示与重建

实验结果

研究问题

• RQ1 如何缓解会改变局部几何和表面的对抗扰动对3D点云的影响？
• RQ2 基于隐函数的表面恢复能否提升在多样的3D结构和攻击下的鲁棒性？
• RQ3 在攻击下恢复干净点云时，重网格与直接优化的相对有效性如何？
• RQ4 IF-Defense 在强自适应和黑盒对手面前的表现如何？

主要发现

• IF-Defense 在 PointNet、PointNet++、DGCNN、PointConv 和 RS-CNN 等网络上，对多样的3D攻击持续超越现有防御方法
• 使用 ConvONet 的基于优化的 IF-Defense 通常获得最佳性能，优于基于重网格的变体
• ConvONet 与 ONet 相比通常提供相等或更优的隐式表面表示结果
• 自适应攻击降低防御有效性，但结合 ConvONet 的 Ours-Opt 在所有测试模型上仍保持超过 60% 的准确率
• DUP-Net 在某些骨干网络上可能效果较差，因为对局部点分布敏感，而 IF-Defense 促进点分布均匀和鲁棒图结构
• 摘要报告了具体提升，包括在 PointNet 上对显著点掉落提升 20.02%，对 LG-GAN 提升 16.29%，相较于现有方法