[论文解读] DUP-Net: Denoiser and Upsampler Network for 3D Adversarial Point Clouds Defense

Hang Zhou, Kejiang Chen+4 more|arXiv (Cornell University)|Dec 25, 2018

Adversarial Robustness in Machine Learning参考文献 48被引用 17

一句话总结

DUP-Net 是一种用于防御 3D 对抗性点云的防御框架，结合了用于去噪的统计异常值去除（SOR）和用于恢复点云结构的可学习上采样网络（PU-Net）。其在 PointNet 上对 C&W 点云位移攻击的防御准确率达到 83.8%，对点云添加攻击的防御准确率为 50.0%，通过不可微分的去噪和分辨率增强实现了强大的鲁棒性。

ABSTRACT

Neural networks are vulnerable to adversarial examples, which poses a threat to their application in security sensitive systems. We propose a Denoiser and UPsampler Network (DUP-Net) structure as defenses for 3D adversarial point cloud classification, where the two modules reconstruct surface smoothness by dropping or adding points. In this paper, statistical outlier removal (SOR) and a data-driven upsampling network are considered as denoiser and upsampler respectively. Compared with baseline defenses, DUP-Net has three advantages. First, with DUP-Net as a defense, the target model is more robust to white-box adversarial attacks. Second, the statistical outlier removal provides added robustness since it is a non-differentiable denoising operation. Third, the upsampler network can be trained on a small dataset and defends well against adversarial attacks generated from other point cloud datasets. We conduct various experiments to validate that DUP-Net is very effective as defense in practice. Our best defense eliminates 83.8% of C&W and l_2 loss based attack (point shifting), 50.0% of C&W and Hausdorff distance loss based attack (point adding) and 9.0% of saliency map based attack (point dropping) under 200 dropped points on PointNet.

研究动机与目标

• 为解决 3D 深度学习模型在自动驾驶等安全关键应用中对对抗性点云攻击的脆弱性问题。
• 通过利用不可微分的统计去噪和可学习上采样技术，开发一种对白盒对抗性攻击具有鲁棒性的防御机制。
• 利用小规模微调的上采样器网络实现有效防御，该网络可泛化于不同点云数据集。
• 通过恢复表面平滑性和结构完整性，提升对多样化对抗性扰动（包括点云位移、添加和删除）的鲁棒性。

提出的方法

• DUP-Net 采用两阶段防御：首先应用统计异常值去除（SOR）以消除偏离流形表面的高杠杆异常值。
• SOR 层不可微分，因此对依赖反向传播的基于梯度的白盒对抗性攻击具有抗性。
• 去噪之后，一个可学习的点云上采样网络（PU-Net）以更高分辨率重建点云，提升局部平滑度。
• 该上采样器在小规模数据集上进行训练，能很好地泛化到其他数据集的对抗性样本，增强鲁棒性而无需完全重新训练。
• 该防御在推理阶段应用，对输入点云进行预处理后再输入目标分类器（如 PointNet）。
• 该框架在 ModelNet40 上通过多种攻击类型进行了评估，包括基于 C&W 的点云位移攻击、点云添加攻击以及基于显著性图的点云删除攻击。

实验结果

研究问题

• RQ1 像 SOR 这类不可微分的去噪操作是否能增强 3D 点云对白盒对抗性攻击的鲁棒性？
• RQ2 轻量级、基于小数据集训练的上采样网络在多大程度上能恢复对抗性点云并提升分类准确率？
• RQ3 DUP-Net 在防御多样化对抗性攻击类型（包括点云位移、添加和删除）方面的有效性如何？
• RQ4 SOR 与 PU-Net 的结合是否在鲁棒性和泛化能力方面优于单一组件或基线防御方法？

主要发现

• DUP-Net 在 PointNet 上对基于 C&W 的点云位移攻击实现了 83.8% 的防御成功率，显著优于基线防御方法。
• 对于基于 C&W 的点云添加攻击，DUP-Net 成功防御了 50.0% 的对抗性样本，表明其对点云注入具有强大鲁棒性。
• 在基于显著性图的点云删除攻击下，DUP-Net 实现了 9.0% 的防御成功率，表明其相较于基线方法有有限但可测量的改进。
• SOR 去噪步骤显著提升了鲁棒性，尤其在缓解点云位移攻击引入的异常值方面效果明显。
• 仅使用 PU-Net 上采样组件即可在基线方法基础上提升防御性能，而与 SOR 结合后进一步增强了鲁棒性。
• 尽管在小规模数据集上训练，DUP-Net 在不同目标模型上也表现出良好的泛化能力，如在 PointNet++ 和 DGCNN 上均成功实现防御。