[论文解读] DeepCloak: Masking Deep Neural Network Models for Robustness Against Adversarial Samples

Ji Gao, Beilun Wang+3 more|arXiv (Cornell University)|Feb 22, 2017

Adversarial Robustness in Machine Learning参考文献 12被引用 72

一句话总结

DeepCloak 在 DNN 中增加一个二进制掩码层，以移除不必要的特征，在对抗性脆弱性上有所降低，同时对正常准确率的影响很小。

ABSTRACT

Recent studies have shown that deep neural networks (DNN) are vulnerable to adversarial samples: maliciously-perturbed samples crafted to yield incorrect model outputs. Such attacks can severely undermine DNN systems, particularly in security-sensitive settings. It was observed that an adversary could easily generate adversarial samples by making a small perturbation on irrelevant feature dimensions that are unnecessary for the current classification task. To overcome this problem, we introduce a defensive mechanism called DeepCloak. By identifying and removing unnecessary features in a DNN model, DeepCloak limits the capacity an attacker can use generating adversarial samples and therefore increase the robustness against such inputs. Comparing with other defensive approaches, DeepCloak is easy to implement and computationally efficient. Experimental results show that DeepCloak can increase the performance of state-of-the-art DNN models against adversarial samples.

研究动机与目标

• 通过减少对不必要特征的依赖，提升 DNN 对对抗样本的鲁棒性。
• 提出一种轻量级的防御方法，不需要重新训练即可应用于现有的 DNN。
• 识别并移除对对抗扰动最敏感的特征，以限制攻击向量。

提出的方法

• 通过比较正常输入与对抗输入的激活来计算特征敏感性。
• 在分类器之前插入一个权重为 0 或 1 的掩码层，以移除前 m% 的最敏感特征。
• 通过对抗样本对之间的逐特征变化累积来学习掩码（v = sum_i |g(x_i) - g(x'_i)|）。
• 将敏感性向量的前 m 个分量设为 0，其余设为 1，然后将掩码插入到 DNN 中。
• 不需要重新训练；学习掩码可以使用训练数据的子集以提高效率。
• 应用于多种架构以证明其通用性。

实验结果

研究问题

• RQ1 在不重新训练的情况下，对不必要特征进行掩蔽是否能提升 DNN 对对抗输入的鲁棒性？
• RQ2 为了实现有意义的对抗鲁棒性，需要掩蔽多少比例的特征？
• RQ3 跨架构的干净数据（非对抗性）上的准确率，特征掩蔽有何影响？

主要发现

• 掩蔽少量特征就能在对抗准确率上带来显著提升。对于具有 256 个特征节点的 ResNet，掩蔽 1% 使对抗准确率达到 0.3923，相对提升为 32.49%。
• 逐步移除更多特征会逐渐提高对抗鲁棒性，但可能降低干净数据的准确性；权衡倾向于对抗性收益显著时掩蔽较小百分比。
• 在 CIFAR-10 的 CNN、VGG 与 Wide ResNet 上，最多掩蔽 10% 的特征可获得逐步提高的对抗准确性，同时正常准确率下降相对适中。
• 研究表明，许多特征对产生对抗样本并不重要，支持有选择地移除特征作为一种有效防御。
• 掩蔽 1% 的特征通常能显著提升鲁棒性，同时维持对干净数据的高性能。