[论文解读] Deflecting 3D Adversarial Point Clouds Through Outlier-Guided Removal.

Hang Zhou, Kejiang Chen+4 more|arXiv (Cornell University)|Dec 25, 2018

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出DUP-Net，一种用于3D点云分类的防御方法，结合了统计异常值去除（SOR）作为不可微分的去噪器，以及数据驱动的上采样网络以重建平滑表面。在PointNet上，面对200个点被移除的C&W和l₂基于的对抗性攻击（点位移），其防御成功率高达83.8%，展现出对白盒攻击的强大鲁棒性。

ABSTRACT

Neural networks are vulnerable to adversarial examples, which poses a threat to their application in security sensitive systems. We propose a Denoiser and UPsampler Network (DUP-Net) structure as defenses for 3D adversarial point cloud classification, where the two modules reconstruct surface smoothness by dropping or adding points. In this paper, statistical outlier removal (SOR) and a data-driven upsampling network are considered as denoiser and upsampler respectively. Compared with baseline defenses, DUP-Net has three advantages. First, with DUP-Net as a defense, the target model is more robust to white-box adversarial attacks. Second, the statistical outlier removal provides added robustness since it is a non-differentiable denoising operation. Third, the upsampler network can be trained on a small dataset and defends well against adversarial attacks generated from other point cloud datasets. We conduct various experiments to validate that DUP-Net is very effective as defense in practice. Our best defense eliminates 83.8% of C&W and l_2 loss based attack (point shifting), 50.0% of C&W and Hausdorff distance loss based attack (point adding) and 9.0% of saliency map based attack (point dropping) under 200 dropped points on PointNet.

研究动机与目标

• 解决3D深度学习模型在安全关键应用中对对抗性点云攻击的脆弱性问题。
• 开发一种防御机制，以增强对3D点云上白盒和可迁移对抗性攻击的鲁棒性。
• 利用不可微分的统计异常值去除（SOR）提升鲁棒性，且无需依赖基于梯度的优化。
• 通过轻量级、可训练的上采样网络实现有效防御，该网络能泛化于不同点云数据集。
• 在涉及点删除、位移和添加的现实攻击场景下，验证该防御的有效性。

提出的方法

• 防御框架DUP-Net集成了一个统计异常值去除（SOR）模块，通过基于局部点密度识别并移除异常点，以过滤出对抗性点。
• 采用可学习的上采样网络，在稀疏区域添加点以重建表面，恢复因对抗性扰动而丢失的几何结构。
• SOR组件不可微分，通过在反向传播中使基于梯度的对抗性攻击效果降低，从而增强鲁棒性。
• 上采样网络在小规模、多样化的数据集上进行训练，以实现对不同点云分布的泛化，并防御来自其他数据集的攻击。
• 两个模块——去噪器（SOR）和上采样器——按顺序联合应用：首先由SOR移除可疑点，随后由上采样器恢复表面几何结构。
• 在PointNet上对多种对抗性攻击类型（包括C&W的l₂损失、Hausdorff距离损失和基于显著性图的攻击）进行端到端评估。

实验结果

研究问题

• RQ1 像SOR这样的不可微分去噪步骤，是否能有效提升3D点云分类器对白盒对抗性攻击的鲁棒性？
• RQ2 轻量级、数据驱动的上采样网络在对抗性点被移除后，能在多大程度上恢复几何保真度？
• RQ3 DUP-Net在防御从不同点云数据集生成的可迁移对抗性攻击方面效果如何？
• RQ4 结合SOR与可学习上采样网络对3D分类模型整体鲁棒性有何影响？
• RQ5 在不同攻击类型下，当对抗性点数量变化（如200个点被移除）时，DUP-Net的性能表现如何？

主要发现

• DUP-Net在PointNet上对C&W和l₂损失基的对抗性攻击（涉及点位移）的防御成功率高达83.8%，在200个点被移除的条件下展现出强大的鲁棒性。
• 在相同200个点扰动条件下，该防御使C&W和Hausdorff距离损失基攻击（涉及点添加）的成功率降低了50.0%。
• 对于通过删除点实施的显著性图基攻击，DUP-Net仍实现了9.0%的防御成功率，表明其在该类扰动下具备部分韧性。
• 不可微分的SOR组件显著提升了鲁棒性，因为它阻止了基于梯度的对抗性优化有效作用于防御机制。
• 上采样网络具有良好的泛化能力，即使对抗样本来自与上采样器训练数据不同的数据集，也能实现有效防御。
• 总体而言，由于SOR与可学习上采样机制之间的协同效应，DUP-Net在鲁棒性方面优于基线防御方法，尤其在白盒攻击场景下表现更优。