[论文解读] Detecting Adversarial Examples - A Lesson from Multimedia Forensics

Pascal Schöttle, Alexander Schlögl+2 more|arXiv (Cornell University)|Mar 9, 2018

Adversarial Robustness in Machine Learning参考文献 17被引用 5

一句话总结

本文提出一种受隐写分析启发的线性滤波器，用于检测通过 MNIST 上的投影梯度下降（PGD）生成的对抗性样本。通过利用像素级预测残差，该方法在较大扰动预算下实现了较高的检测率，且当与对抗性微调模型结合时，保持了超过 96% 的准确率，显著缩小了对抗性样本的攻击面。

ABSTRACT

Adversarial classification is the task of performing robust classification in the presence of a strategic attacker. Originating from information hiding and multimedia forensics, adversarial classification recently received a lot of attention in a broader security context. In the domain of machine learning-based image classification, adversarial classification can be interpreted as detecting so-called adversarial examples, which are slightly altered versions of benign images. They are specifically crafted to be misclassified with a very high probability by the classifier under attack. Neural networks, which dominate among modern image classifiers, have been shown to be especially vulnerable to these adversarial examples. However, detecting subtle changes in digital images has always been the goal of multimedia forensics and steganalysis. In this paper, we highlight the parallels between these two fields and secure machine learning. Furthermore, we adapt a linear filter, similar to early steganalysis methods, to detect adversarial examples that are generated with the projected gradient descent (PGD) method, the state-of-the-art algorithm for this task. We test our method on the MNIST database and show for several parameter combinations of PGD that our method can reliably detect adversarial examples. Additionally, the combination of adversarial re-training and our detection method effectively reduces the attack surface of attacks against neural networks. Thus, we conclude that adversarial examples for image classification possibly do not withstand detection methods from steganalysis, and future work should explore the effectiveness of known techniques from multimedia forensics in other adversarial settings.

研究动机与目标

• 通过识别隐写分析与对抗性样本检测之间的概念相似性，弥合对抗性机器学习与多媒体取证之间的鸿沟。
• 探究成熟的隐写分析技术是否能有效检测图像分类中的对抗性样本。
• 开发并评估一种基于像素预测残差的简单线性检测方法，用于检测 PGD 生成的对抗性样本。
• 评估将所提出的检测方法与对抗性微调神经网络结合的有效性，以增强鲁棒性。
• 证明来自多媒体取证的检测方法可与鲁棒分类相辅相成，降低攻击者的成功率。

提出的方法

• 将早期隐写分析方法中的线性预测滤波器进行适配，通过分析像素值与预期值之间的偏差来检测对抗性样本。
• 使用局部像素预测模型计算实际像素强度与预测像素强度之间的残差，识别由对抗性扰动引起的异常。
• 将该方法应用于使用不同扰动预算（ε）的投影梯度下降（PGD）攻击生成的对抗性样本。
• 将检测方法与对抗性微调的卷积神经网络结合：仅将未被检测到的（良性类）样本传递给分类器。
• 采用基于阈值的决策规则，根据预测残差的大小将输入分类为对抗性或良性。
• 在 MNIST 数据集上评估性能，使用真阳性率（TPR）和不同 ε 值及模型类型（自然模型与对抗性微调模型）下的整体准确率。

实验结果

研究问题

• RQ1 受隐写分析启发的检测方法能否有效识别通过 PGD 生成的对抗性样本？
• RQ2 PGD 攻击中扰动幅度（ε）的变化如何影响检测性能？
• RQ3 将所提出的检测方法与对抗性微调模型结合是否能提升整体对抗攻击的鲁棒性？
• RQ4 为何对抗性微调模型生成的对抗性样本更难检测？其扰动在结构上存在何种差异？
• RQ5 多媒体取证中的检测方法在多大程度上可与鲁棒分类互补，以增强对抗性机器学习的防御能力？

主要发现

• 对于自然模型，在 ε ≈ 0.17 时检测方法的真阳性率（TPR）约为 50%，且随着 ε 值增大而提升。
• 对于对抗性微调模型，TPR 在 ε ≈ 0.31 时达到 50%，表明微调模型生成的对抗性样本更难检测。
• 检测方法与对抗性微调模型结合后，在所有 ε 值下整体准确率均保持在至少 96%，即使原始分类器的准确率低于 50%。
• 对于自然模型，当 ε ≥ 0.17 时，该方法可实现对抗样本与良性样本的完美分离；对于微调模型，当 ε ≥ 0.31 时亦可实现完美分离。
• 对抗性微调模型生成的对抗性样本表现出更均匀的像素变化，其扰动更接近预测模型的预期值，从而降低了可检测性。
• 检测与鲁棒分类的正交行为表明二者结合具有显著协同效应，能显著缩小攻击者的有效攻击面。