[论文解读] Adversarial Detection and Correction by Matching Prediction Distributions

Giovanni Vacanti, Arnaud Van Looveren|arXiv (Cornell University)|Feb 21, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用 13

一句话总结

该论文提出了一种基于自编码器、使用Kullback-Leibler散度损失进行训练的无监督对抗检测与修正方法，以匹配原始输入与重构输入之间分类器的预测分布。该方法在MNIST和Fashion-MNIST上对强灰盒攻击（如Carlini-Wagner、SLIDE）实现了近乎完美的检测效果，并在CIFAR-10上即使在白盒条件下仍保持高度有效，同时还能检测CIFAR-10-C中的数据损坏。

ABSTRACT

We present a novel adversarial detection and correction method for machine learning classifiers.The detector consists of an autoencoder trained with a custom loss function based on the Kullback-Leibler divergence between the classifier predictions on the original and reconstructed instances.The method is unsupervised, easy to train and does not require any knowledge about the underlying attack. The detector almost completely neutralises powerful attacks like Carlini-Wagner or SLIDE on MNIST and Fashion-MNIST, and remains very effective on CIFAR-10 when the attack is granted full access to the classification model but not the defence. We show that our method is still able to detect the adversarial examples in the case of a white-box attack where the attacker has full knowledge of both the model and the defence and investigate the robustness of the attack. The method is very flexible and can also be used to detect common data corruptions and perturbations which negatively impact the model performance. We illustrate this capability on the CIFAR-10-C dataset.

研究动机与目标

• 开发一种鲁棒的、无监督的对抗检测与修正方法，无需事先了解攻击类型或模型防御机制。
• 通过聚焦分类器输出概率分布而非输入重构误差，提升对抗样本的检测能力。
• 评估该方法在MNIST、Fashion-MNIST和CIFAR-10等多样化数据集上对强大灰盒与白盒攻击的有效性。
• 将该方法的实用性扩展至对抗攻击之外，用于检测真实部署中常见的数据损坏与分布偏移。
• 提供一种灵活、通用的防御机制，适用于任意可微分类器及多种数据模态。

提出的方法

• 该方法采用基于原始输入与重构输入上分类器预测概率之间Kullback-Leibler（KL）散度的自定义损失函数训练自编码器。
• 自编码器学习生成对称且无伪影的重构结果，以保留原始分类器的输出分布，从而有效去除对抗性扰动。
• 通过计算分类器在原始输入与重构输入上的预测结果之间的KL散度，生成对抗性得分，作为检测信号。
• 该防御以无监督方式训练，无需标注的对抗样本或对攻击策略的先验知识。
• 通过测量在CIFAR-10-C基准中损坏输入的对抗性得分，将该方法扩展至检测数据漂移。
• 该方法具有模块化设计，可通过使用多种架构的自编码器进行集成学习来进一步提升鲁棒性。

实验结果

研究问题

• RQ1 基于原始输入与重构输入之间预测分布匹配的防御机制，能否有效检测强灰盒对抗攻击？
• RQ2 该方法在攻击者完全掌握模型与防御机制的白盒攻击场景下，检测效果如何？
• RQ3 基于预测分布之间KL散度的对抗性得分，是否能泛化用于检测常见数据损坏与分布偏移？
• RQ4 模型集成在多大程度上可提升检测系统对可迁移攻击的鲁棒性？
• RQ5 该方法是否可普遍适用于不同数据模态与分类器架构，而无需进行架构或超参数调优？

主要发现

• 该方法在MNIST和Fashion-MNIST上近乎完全中和了Carlini-Wagner与SLIDE攻击，多数情况下检测AUC值超过0.95。
• 在CIFAR-10上，该方法在白盒攻击下仍保持高检测性能，AUC值达到0.7673（C&W）、0.7268（SLIDE），FGSM的AUC最高可达0.85（不同ε值下）。
• 对抗性得分能有效检测CIFAR-10-C中的数据损坏，因损坏导致误分类的有害样本，其对抗性得分比未受影响样本高出2.91至5.87倍。
• Kolmogorov-Smirnov检验确认了损坏与未损坏样本之间对抗性得分差异具有统计显著性，p值 = 0.0。
• 白盒攻击在不同自编码器架构之间的迁移性较低，表明该方法对攻击迁移具有内在鲁棒性。
• 即使攻击者完全掌握防御机制，该方法仍保持有效，表明其对白盒威胁具有强大抗性。