[论文解读] Adversarial Example Detection for DNN Models: A Review

Ahmed Aldahdooh, Wassim Hamidouche+2 more|arXiv (Cornell University)|May 1, 2021

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文对深度神经网络（DNN）模型的对抗性样本（AE）检测方法进行了全面的理论与实验综述。在四种数据集上，针对多种场景评估了八种最先进检测器的性能，揭示了其在性能、局限性以及提升DNN在关键应用中安全性的未来研究方向方面的见解。

ABSTRACT

Deep Learning (DL) has shown great success in many human-related tasks, which has led to its adoption in many computer vision based applications, such as security surveillance system, autonomous vehicles and healthcare. Such safety-critical applications have to draw its path to success deployment once they have the capability to overcome safety-critical challenges. Among these challenges are the defense against or/and the detection of the adversarial example (AE). Adversary can carefully craft small, often imperceptible, noise called perturbations, to be added to the clean image to generate the AE. The aim of AE is to fool the DL model which makes it a potential risk for DL applications. Many test-time evasion attacks and countermeasures, i.e., defense or detection methods, are proposed in the literature. Moreover, few reviews and surveys were published and theoretically showed the taxonomy of the threats and the countermeasure methods with little focus in AE detection methods. In this paper, we attempt to provide a theoretical and experimental review for AE detection methods. A detailed discussion for such methods is provided and experimental results for eight state-of-the-art detectors are presented under different scenarios on four datasets. We also provide potential challenges and future perspectives for this research direction.

研究动机与目标

• 为应对自动驾驶汽车和医疗系统等关键应用中对抗性样本日益增长的风险。
• 识别现有文献中的空白，特别是尽管在逃避攻击和防御方面已有大量研究，但缺乏针对对抗性样本检测方法的聚焦综述。
• 对AE检测技术进行系统性综述，涵盖理论基础及在多个数据集和场景下的实证评估。
• 在不同条件下评估八种最先进AE检测器的性能，以评估其鲁棒性与可靠性。
• 突出开放性挑战，并提出推动DNN中对抗性样本检测发展的未来研究方向。

提出的方法

• 本文对AE检测方法进行理论综述，根据检测原理（如异常检测、不确定性估计和输入变换）对方法进行分类。
• 在四个基准数据集（CIFAR-10、CIFAR-100、SVHN和ImageNet）上对八种最先进AE检测方法进行了实验评估。
• 在多种攻击场景下开展实验，包括白盒和黑盒逃避攻击，以评估检测器的鲁棒性。
• 报告了检测准确率、误报率以及在不同扰动幅度下的鲁棒性等性能指标。
• 分析检测器在分布偏移和对抗性噪声模式下的行为，以评估其泛化能力与可靠性。
• 进行对比分析，以识别不同检测范式（包括统计方法、基于重建的方法和不确定性感知方法）的优势与劣势。

实验结果

研究问题

• RQ1 不同对抗性样本检测方法在多样化的数据集和攻击类型下的表现如何？
• RQ2 在不同扰动模式和攻击场景下，影响AE检测方法鲁棒性与可靠性的关键因素是什么？
• RQ3 在不同数据集上，最先进检测器在检测准确率和误报率方面的表现如何比较？
• RQ4 当前AE检测技术在真实部署环境中存在哪些局限性和失效模式？
• RQ5 未来哪些研究方向可提升DNN中对抗性样本检测的有效性与泛化能力？

主要发现

• AE检测方法的性能在不同数据集间差异显著，在CIFAR-10上的检测准确率高于ImageNet。
• 基于不确定性估计和输入重建的检测器在复杂场景下优于仅依赖统计异常的检测器。
• 当在分布偏移或自然图像损坏条件下测试时，许多检测器表现出较高的误报率。
• 没有单一检测方法能在所有攻击类型和数据集上保持一致的高性能，表明需要采用自适应或集成方法。
• 研究发现，当前检测器在强对抗性扰动下，或在攻击设计为模仿自然图像变化时，往往失效。
• 未来研究应聚焦于提升泛化能力、降低误报率，并将检测与鲁棒模型训练相结合。