[论文解读] Early Methods for Detecting Adversarial Images

Dan Hendrycks, Kevin Gimpel|arXiv (Cornell University)|Aug 1, 2016

Adversarial Robustness in Machine Learning参考文献 15被引用 121

一句话总结

The paper proposes three detectors for adversarial images, including PCA-based coefficient variance, softmax distribution analysis, and reconstruction-based detection, demonstrating strong AUROC/AUPR performance on several datasets.

ABSTRACT

Many machine learning classifiers are vulnerable to adversarial perturbations. An adversarial perturbation modifies an input to change a classifier's prediction without causing the input to seem substantially different to human perception. We deploy three methods to detect adversarial images. Adversaries trying to bypass our detectors must make the adversarial image less pathological or they will fail trying. Our best detection method reveals that adversarial images place abnormal emphasis on the lower-ranked principal components from PCA. Other detectors and a colorful saliency map are in an appendix.

研究动机与目标

• 激发对可能误导分类器但对人类不可察觉的对抗性扰动所带风险的关注。
• 开发检测器以识别对抗性图像并理解其病理机制。
• 提供一种显著性映射技术以提高对网络决策的可解释性。
• 展示对抗性攻击下集成防御和预处理思路的有效性。

提出的方法

• PCA 白化检测器，使用低秩 PCA 系数的方差作为检测特征。
• 基于 Softmax 分布的检测器，将先前关于错分和异常分布样本的工作扩展到对抗性图像。
• 基于重建的检测器，将输入图像与由以分类对数 logits 条件生成的解码器重构进行比较。
• 附录中的显著性图，使用替代的反向传播规则以提高显著性图的可解释性。

实验结果

研究问题

• RQ1 对抗性图像是否可通过白化后 PCA 系数的统计特性与清洁图像区分？
• RQ2 对抗性图像是否相较于清洁图像或分布外数据呈现不同的 Softmax 分布？
• RQ3 在结合分类信息时，重构误差是否能将对抗性图像与清洁图像区分开？
• RQ4 改进的显著性图是否能够对对抗性扰动下的网络决策提供更清晰的解释？

主要发现

• 经 PCA 白化的对抗性图像在低阶主成分中显示异常方差，使跨数据集的可靠检测成为可能。
• 对抗性样本展示出与清洁样本不同的显著 Softmax 分布，帮助检测；将生成限制在典型的 KL 散度内可降低欺骗能力。
• 结合 logits 的重构对于对抗性图像产生更大的输入—重构差异，达到 AUROC 96.2% 和 AUPR 96.6%。
• 认为多检测器集成比任何单一检测器在面对自适应攻击时更具鲁棒性。
• 通过修改的反向传播得到的显著性图提高了对分类决策的可解释性。