[论文解读] Are Odds Really Odd? Bypassing Statistical Detection of Adversarial Examples

Hossein Hosseini, Sreeram Kannan+1 more|arXiv (Cornell University)|Jul 28, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用 14

一句话总结

本文提出对数几率模仿攻击（Logit Mimicry Attack, LMA），一种生成对抗样本的方法，使其对数几率统计特性与良性图像保持一致，从而绕过基于统计和分类器的检测方法。实验表明，即使检测器经过迭代训练以抵抗自适应攻击，仍会被成功绕过，证明基于对数几率的检测方法在本质上不可靠，无法有效识别对抗样本。

ABSTRACT

Deep learning classifiers are known to be vulnerable to adversarial examples. A recent paper presented at ICML 2019 proposed a statistical test detection method based on the observation that logits of noisy adversarial examples are biased toward the true class. The method is evaluated on CIFAR-10 dataset and is shown to achieve 99% true positive rate (TPR) at only 1% false positive rate (FPR). In this paper, we first develop a classifier-based adaptation of the statistical test method and show that it improves the detection performance. We then propose Logit Mimicry Attack method to generate adversarial examples such that their logits mimic those of benign images. We show that our attack bypasses both statistical test and classifier-based methods, reducing their TPR to less than 2:2% and 1:6%, respectively, even at 5% FPR. We finally show that a classifier-based detector that is trained with logits of mimicry adversarial examples can be evaded by an adaptive attacker that specifically targets the detector. Furthermore, even a detector that is iteratively trained to defend against adaptive attacker cannot be made robust, indicating that statistics of logits cannot be used to detect adversarial examples.

研究动机与目标

• 通过将统计检测方法改进为分类器方法，提升对抗样本检测性能。
• 开发一种攻击方法，生成对数几率统计特性与良性样本几乎无法区分的对抗样本。
• 评估检测方法在同时针对分类器和检测器的自适应攻击下的鲁棒性。
• 探究是否可通过迭代训练使基于对数几率的检测方法具备鲁棒性。

提出的方法

• 提出统计检验方法的分类器改进版本，以干净样本和噪声对数几率作为输入，检测对抗样本。
• 开发对数几率模仿攻击（LMA），生成在噪声下其对数几率分布与良性图像对数几率一致的对抗样本。
• 使用结合标准对抗损失与检测器损失的损失函数，同时规避分类器与检测器。
• 在模仿对抗样本上训练检测器以提升检测性能，随后测试其在自适应攻击下的鲁棒性。
• 通过专门设计的对抗样本迭代重训练检测器，模拟自适应攻击者的行为。
• 使用组合损失函数 ℓ_adaptive(x,yt) = αℓ_LMA(x,yt) + (1−α)ℓ_D(x)，其中 α=0.25，以平衡对网络和检测器的规避效果。

实验结果

研究问题

• RQ1 分类器方法对统计检测方法的改进是否能超越原始检验的检测性能？
• RQ2 能否构造出对数几率统计特性与良性图像高度相似的对抗样本，从而逃避检测？
• RQ3 在模仿对抗样本上训练的检测器，是否能对同时针对分类器和检测器的自适应攻击保持鲁棒性？
• RQ4 是否可通过迭代训练使检测器对专门针对它的自适应攻击具备鲁棒性？
• RQ5 对数几率的统计特性是否构成良性与对抗样本之间的根本性差异？

主要发现

• 分类器方法对统计检验的改进显著提升了检测性能，在低噪声环境下尤其明显，真阳性率高于原始检验方法。
• 对数几率模仿攻击成功绕过统计检验与分类器检测，即使在5%假阳性率下，真阳性率分别降至2.2%以下和1.6%以下。
• 在模仿对抗样本上训练的检测器在5%假阳性率下达到62.7%的真阳性率，但被自适应攻击者绕过，导致真阳性率降至1.7%。
• 即使通过迭代方式对抗自适应攻击重训练检测器，其鲁棒性仍无法维持，5%假阳性率下真阳性率仅达2.9%。
• 结果表明，良性与对抗样本之间对数几率的统计可区分性并非深度网络的根本属性，因此基于此的检测方法本质上脆弱。
• 即使经过自适应训练，也无法使基于对数几率的检测器具备鲁棒性，表明对数几率统计特性无法可靠用于检测对抗样本。