[论文解读] A Noise-Sensitivity-Analysis-Based Test Prioritization Technique for Deep Neural Networks

Long Zhang, Xuechao Sun+2 more|arXiv (Cornell University)|Jan 1, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用 23

一句话总结

本文提出了一种基于噪声敏感性分析的测试用例优先化技术（NSATP），通过概率标签差异对深度神经网络输入按其对对抗扰动的敏感性进行排序。通过使用概率距离度量（尤其是概率差异）计算噪声敏感性，NSATP能有效优先处理更可能生成有效对抗样本的输入，实验表明更高的敏感性与成功欺骗DNN密切相关。

ABSTRACT

Deep neural networks (DNNs) have been widely used in the fields such as natural language processing, computer vision and image recognition. But several studies have been shown that deep neural networks can be easily fooled by artificial examples with some perturbations, which are widely known as adversarial examples. Adversarial examples can be used to attack deep neural networks or to improve the robustness of deep neural networks. A common way of generating adversarial examples is to first generate some noises and then add them into original examples. In practice, different examples have different noise-sensitive. To generate an effective adversarial example, it may be necessary to add a lot of noise to low noise-sensitive example, which may make the adversarial example meaningless. In this paper, we propose a noise-sensitivity-analysis-based test prioritization technique to pick out examples by their noise sensitivity. We construct an experiment to validate our approach on four image sets and two DNN models, which shows that examples are sensitive to noise and our method can effectively pick out examples by their noise sensitivity.

研究动机与目标

• 为解决对抗样本生成效率低下的问题，即许多扰动因样本的噪声敏感性较低而失败。
• 识别并优先处理对小扰动更脆弱的样本，以提高对抗攻击的成功率。
• 基于DNN的概率标签，开发一种基于噪声敏感性分析的测试用例优先化技术。
• 评估不同距离度量（概率差异、熵和方差）在测量噪声敏感性方面的有效性。
• 在多个数据集和DNN架构上验证该方法的泛化能力。

提出的方法

• NSATP为每个输入样本收集训练好的DNN输出的概率向量。
• 通过三种度量方法（概率差异、概率熵和概率方差）计算原始与扰动后概率向量之间的距离，以衡量噪声敏感性。
• 根据噪声敏感性得分对样本进行排序，得分越高表示越脆弱。
• 通过每次随机修改图像中的四个像素来施加扰动，模拟小规模对抗噪声。
• 该方法利用模型输出的置信度（概率标签）推断内在敏感性，无需梯度或反向传播。
• 在四个图像数据集和两个DNN模型上开展实验，以评估在多样化设置下的性能表现。

实验结果

研究问题

• RQ1 能否仅通过DNN的概率标签输出，有效对样本的内在噪声敏感性进行排序？
• RQ2 在概率差异、熵和方差三种度量中，哪一种最准确地预测对抗攻击的成功？
• RQ3 高噪声敏感性是否与生成有效对抗样本的可能性更高相关？
• RQ4 基于噪声敏感性的优先排序方法在不同数据集和DNN架构上的表现是否一致？
• RQ5 该方法能否减少生成成功对抗样本所需的无效扰动数量？

主要发现

• 样本在噪声敏感性方面表现出显著差异，高敏感性样本更容易被小扰动欺骗。
• 概率差异度量在识别可能产生有效对抗样本的样本方面优于概率熵和方差。
• NSATP成功实现了对样本的优先排序，使得高噪声敏感性样本更易被最小噪声成功欺骗。
• 该方法在四个图像数据集和两个不同DNN模型上均表现出一致的性能，表明其具有鲁棒性和泛化能力。
• 仅使用概率标签即可实现有效的噪声敏感性估计，无需计算梯度或进行模型内部分析。
• 重复三次实验得到的结果一致，支持了研究发现的可靠性。