[论文解读] Detecting Adversarial Samples for Deep Neural Networks through Mutation Testing

Jingyi Wang, Jun Sun+2 more|arXiv (Cornell University)|May 14, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用 43

一句话总结

本文提出 nMutant，一种面向深度神经网络的黑盒对抗样本检测器，使用变异测试来衡量样本对随机扰动的敏感性，并利用基于统计 SPRT 的决策来检测对抗输入。它在 MNIST 和 CIFAR-10 上显示对抗样本的敏感性高于普通样本，并在适度的变异次数下实现显著的检测准确性。

ABSTRACT

Recently, it has been shown that deep neural networks (DNN) are subject to attacks through adversarial samples. Adversarial samples are often crafted through adversarial perturbation, i.e., manipulating the original sample with minor modifications so that the DNN model labels the sample incorrectly. Given that it is almost impossible to train perfect DNN, adversarial samples are shown to be easy to generate. As DNN are increasingly used in safety-critical systems like autonomous cars, it is crucial to develop techniques for defending such attacks. Existing defense mechanisms which aim to make adversarial perturbation challenging have been shown to be ineffective. In this work, we propose an alternative approach. We first observe that adversarial samples are much more sensitive to perturbations than normal samples. That is, if we impose random perturbations on a normal and an adversarial sample respectively, there is a significant difference between the ratio of label change due to the perturbations. Observing this, we design a statistical adversary detection algorithm called nMutant (inspired by mutation testing from software engineering community). Our experiments show that nMutant effectively detects most of the adversarial samples generated by recently proposed attacking methods. Furthermore, we provide an error bound with certain statistical significance along with the detection.

研究动机与目标

• 在不依赖于已知攻击数据的前提下，推动对抗样本的鲁棒检测。
• 证明对抗样本对随机扰动比普通样本更敏感。
• 开发一个具有统计保证、可扩展的变异测试检测器。
• 提供参数设置指南并在 MNIST 与 CIFAR-10 上展示有效性。

提出的方法

• 通过扰动输入 x 以在现实扰动范围内生成带标签的变体 x_m，从而定义变异测试框架。
• 将敏感性 κ(x) 表示为改变模型输出的变体的分数：κ(x) = |{x_m : f(x_m) ≠ f(x)}| / |X_m(x)|。
• 应用序贯概率比检验（SPRT）来决定 κ(x) > μ·κ1 或 κ(x) ≤ μ·κ1，并设定误差 α、β 的受控。
• 将 κ1 作为对普通样本敏感性的上限，并用 μ、α、β、σ 控制决策区域与置信度。
• 通过 StepSize 生成变体，以捕捉现实扰动并最大化 κnor 与 κadv 的分离。
• 提供一个实用算法（算法 1），在达到带有界误差的决策时就停止。

实验结果

研究问题

• RQ1 在不知道模型内部信息的情况下，变异测试能否创造出可靠信号以区分普通样本和对抗样本？
• RQ2 在常见攻击中，普通样本对随机扰动的敏感性与对抗样本有何经验差异？
• RQ3 在 MNIST 和 CIFAR-10 上，检测对抗输入需要多少次变异才能在给定自信度下实现？
• RQ4 参数选择（StepSize、κ1、μ、α、β）如何影响检测精度与效率？

主要发现

• 对抗样本在 FGSM、C&W、JSMA 及黑盒攻击下的敏感性 κadv 明显高于普通样本 κnor。
• 较小的 StepSize 增大 κnor 与 κadv 之间的距离，帮助更早检测；较大的 StepSize 降低此距离。
• 在 MNIST 的检测准确度平均为 77.4%，在 CIFAR-10 为 76.6%，每个样本约需要 33 次变异（MNIST）和 46.5 次变异（CIFAR-10）。
• 检测也能有效识别错标样本，暗示对这类数据的重新标注潜力。
• 普通样本以高精度被正确识别，平均约 97% 的准确率。
• 检测器以黑盒方式运行并为每个输入提供置信边界决策。