[论文解读] Detecting Adversarial Data by Probing Multiple Perturbations Using Expected Perturbation Score

Shuhai Zhang, Feng Liu+5 more|arXiv (Cornell University)|May 25, 2023

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出期望扰动得分（EPS），一种新型统计量，通过聚合样本在多个扰动视图下的得分来增强对抗检测。利用预训练的扩散模型，EPS-AD 计算测试样本与自然数据之间的最大均值差异（MMD），在多种攻击下于 ImageNet 和 CIFAR-10 上实现了最先进（SOTA）的 AUROC 分数（最高达 0.9997），且推理成本极低（在 T=20 时每张图像仅需 0.954 秒）。

ABSTRACT

Adversarial detection aims to determine whether a given sample is an adversarial one based on the discrepancy between natural and adversarial distributions. Unfortunately, estimating or comparing two data distributions is extremely difficult, especially in high-dimension spaces. Recently, the gradient of log probability density (a.k.a., score) w.r.t. the sample is used as an alternative statistic to compute. However, we find that the score is sensitive in identifying adversarial samples due to insufficient information with one sample only. In this paper, we propose a new statistic called expected perturbation score (EPS), which is essentially the expected score of a sample after various perturbations. Specifically, to obtain adequate information regarding one sample, we perturb it by adding various noises to capture its multi-view observations. We theoretically prove that EPS is a proper statistic to compute the discrepancy between two samples under mild conditions. In practice, we can use a pre-trained diffusion model to estimate EPS for each sample. Last, we propose an EPS-based adversarial detection (EPS-AD) method, in which we develop EPS-based maximum mean discrepancy (MMD) as a metric to measure the discrepancy between the test sample and natural samples. We also prove that the EPS-based MMD between natural and adversarial samples is larger than that among natural samples. Extensive experiments show the superior adversarial detection performance of our EPS-AD.

研究动机与目标

• 为解决通过识别自然数据与对抗数据分布之间差异来检测对抗样本的挑战。
• 克服单一样本得分函数敏感且不足以为可靠检测提供支持的局限性。
• 开发一种对未见攻击和可迁移攻击均有效的鲁棒且可泛化的检测方法。
• 利用扰动样本的多视图信息，提升统计可靠性与检测能力。

提出的方法

• 提出期望扰动得分（EPS）作为新统计量，定义为样本在多次噪声扰动后得分的期望值。
• 使用预训练的基于得分的扩散模型，在固定时间步 T* 下估计自然样本和测试样本的 EPS。
• 应用基于 EPS 的最大均值差异（MMD）来度量测试样本与自然数据之间的分布差异。
• 按照前向扩散过程，对自然样本和测试图像同时施加多种噪声水平的扰动，以生成多视图观测。
• 理论分析证明，在温和条件下，EPS 基于的 MMD 在自然样本与对抗样本之间大于自然样本内部的差异。
• 通过选择低分辨率输入和稀疏扩散时间步（如 T=20）设计高效推理流水线，以降低计算成本。

实验结果

研究问题

• RQ1 从多个扰动中导出的多视图得分统计量是否能超越单一样本得分函数，提升对抗检测性能？
• RQ2 期望扰动得分（EPS）在理论上是否可作为自然与对抗数据分布之间有效判别器？
• RQ3 与现有检测器相比，EPS-AD 在面对多样化、未见及可迁移对抗攻击时表现如何？
• RQ4 能否通过分辨率与时间步优化，在不牺牲检测性能的前提下最小化 EPS-AD 的计算成本？
• RQ5 在 ImageNet 上预训练的扩散模型是否能实现零样本或跨数据集的对抗检测，并具备强泛化能力？

主要发现

• 在 FGSM-ℓ₂ 攻击（ε=4/255）下，EPS-AD 在 ImageNet 上实现了 0.9997 的最先进 AUROC，优于 KD、LID、MD 和 LiBRe 等现有方法。
• 在 256×256 分辨率和 T=20 条件下，EPS-AD 在 ImageNet 上实现 0.9917 AUROC，每张图像仅耗时 0.954 秒，表现出极高效率。
• 在 CIFAR-10 上，EPS-AD 在 T=20 时达到 0.9995 AUROC，每张图像耗时 0.043 秒，优于 KD、LID 和 MD。
• 跨数据集评估显示，EPS-AD*（使用 ImageNet 预训练模型）在 PGD 攻击下于 CIFAR-10 上实现 0.9987 AUROC，表明其具备强大泛化能力。
• 即使在低时间步（T=10）和低分辨率（128×128）条件下，该方法仍保持高性能，且在 ImageNet 上推理时间低于 1 秒。
• 理论分析证实，EPS 基于的 MMD 在自然样本与对抗样本之间大于自然样本内部的差异，从而验证了其作为检测指标的有效性。