[论文解读] Towards Characterizing Adversarial Defects of Deep Learning Software from the Lens of Uncertainty

Xiyue Zhang, Xiaofei Xie+6 more|arXiv (Cornell University)|Apr 24, 2020

Adversarial Robustness in Machine Learning参考文献 55被引用 5

一句话总结

本文提出一种基于不确定性的方法，通过分析正常样本和对抗性样本中的预测置信度（PCS）与变异率（VRO），以表征深度学习软件中的对抗性缺陷。该方法识别出现有数据中两种主导的不确定性模式，并提出一种基于遗传算法（GA）的测试生成技术，以生成罕见且难以检测的对抗性样本，使现有防御机制的成功率降低35%，凸显了在鲁棒性评估中采用多样化数据的必要性。

ABSTRACT

Over the past decade, deep learning (DL) has been successfully applied to many industrial domain-specific tasks. However, the current state-of-the-art DL software still suffers from quality issues, which raises great concern especially in the context of safety- and security-critical scenarios. Adversarial examples (AEs) represent a typical and important type of defects needed to be urgently addressed, on which a DL software makes incorrect decisions. Such defects occur through either intentional attack or physical-world noise perceived by input sensors, potentially hindering further industry deployment. The intrinsic uncertainty nature of deep learning decisions can be a fundamental reason for its incorrect behavior. Although some testing, adversarial attack and defense techniques have been recently proposed, it still lacks a systematic study to uncover the relationship between AEs and DL uncertainty. In this paper, we conduct a large-scale study towards bridging this gap. We first investigate the capability of multiple uncertainty metrics in differentiating benign examples (BEs) and AEs, which enables to characterize the uncertainty patterns of input data. Then, we identify and categorize the uncertainty patterns of BEs and AEs, and find that while BEs and AEs generated by existing methods do follow common uncertainty patterns, some other uncertainty patterns are largely missed. Based on this, we propose an automated testing technique to generate multiple types of uncommon AEs and BEs that are largely missed by existing techniques. Our further evaluation reveals that the uncommon data generated by our method is hard to be defended by the existing defense techniques with the average defense success rate reduced by 35\%. Our results call for attention and necessity to generate more diverse data for evaluating quality assurance solutions of DL software.

研究动机与目标

• 探究对抗性样本（AEs）与深度学习决策中不确定性的关系。
• 识别并分类现有技术生成的正常样本（BEs）和对抗性样本（AEs）中的不确定性模式。
• 发现并生成当前对抗性攻击与测试方法所遗漏的不常见输入数据模式。
• 评估生成数据在绕过现有防御机制方面的有效性。
• 倡导在深度学习软件质量保障中采用更多样化的数据生成方法。

提出的方法

• 通过实证评估四种贝叶斯不确定性度量和一种单次采样度量（预测置信度得分）在区分正常样本与对抗性样本方面的能力。
• 选择PCS与原始预测的变异率（VRO）作为最有效的度量指标，用于进一步分析。
• 分析来自最先进攻击与测试技术的正常样本与对抗性样本的不确定性模式，识别出两种主导模式：对抗性样本表现为低PCS/高VRO，正常样本表现为高PCS/低VRO。
• 提出一种基于遗传算法（GA）的自动化测试生成技术，以生成具有不常见不确定性模式的输入。
• 生成既包含不常见的对抗性样本也包含正常样本的输入，使其偏离常见模式，重点聚焦于高不确定性多样性。
• 将生成的数据与现有防御技术进行对比评估，以衡量其鲁棒性与规避潜力。

实验结果

研究问题

• RQ1 不同不确定性度量在区分正常样本与对抗性样本方面表现如何？
• RQ2 当前攻击与测试技术生成的正常样本与对抗性样本所遵循的主导不确定性模式是什么？
• RQ3 那些被现有方法遗漏的不常见不确定性模式是什么样的？能否系统性地生成？
• RQ4 生成的不常见输入在规避现有防御机制方面的有效性如何？
• RQ5 不确定性模式的数据多样性在多大程度上影响深度学习软件的鲁棒性评估？

主要发现

• 预测置信度得分（PCS）与原始预测的变异率（VRO）是区分正常样本与对抗性样本最有效的度量指标。
• 现有对抗性样本与正常样本主要遵循两种常见不确定性模式：对抗性样本表现出低PCS与高VRO，而正常样本则呈现高PCS与低VRO。
• 大量不确定性模式——尤其是高VRO与低PCS的模式——仍处于未充分探索状态，且被当前攻击与测试方法广泛遗漏。
• 所提出的基于GA的测试生成方法成功生成了具有多样化不确定性模式的不常见输入，包括低PCS与高VRO的模式。
• 该方法生成的不常见数据使现有防御技术的平均防御成功率降低35%，表明其具备更高的规避潜力。
• 结果表明，当前深度学习鲁棒性评估受限于数据多样性，亟需更广泛、基于不确定性的测试数据生成方法。