[论文解读] DAmageNet: A Universal Adversarial Dataset

Sizhe Chen, Xiaolin Huang+2 more|arXiv (Cornell University)|Dec 16, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用 7

一句话总结

DAmageNet 是首个包含 96,020 个高度可迁移对抗样本的通用对抗数据集，这些样本由 ImageNet 图像经过极小扰动（平均均方根偏差为 3.8）生成。这些样本在无需任何查询的情况下，即可在多种预训练模型上实现高达 90% 的误分类率，从而支持零查询黑盒攻击，并可作为评估和提升深度神经网络鲁棒性的基准。

ABSTRACT

It is now well known that deep neural networks (DNNs) are vulnerable to adversarial attack. Adversarial samples are similar to the clean ones, but are able to cheat the attacked DNN to produce incorrect predictions in high confidence. But most of the existing adversarial attacks have high success rate only when the information of the attacked DNN is well-known or could be estimated by massive queries. A promising way is to generate adversarial samples with high transferability. By this way, we generate 96020 transferable adversarial samples from original ones in ImageNet. The average difference, measured by root means squared deviation, is only around 3.8 on average. However, the adversarial samples are misclassified by various models with an error rate up to 90\%. Since the images are generated independently with the attacked DNNs, this is essentially zero-query adversarial attack. We call the dataset \emph{DAmageNet}, which is the first universal adversarial dataset that beats many models trained in ImageNet. By finding the drawbacks, DAmageNet could serve as a benchmark to study and improve robustness of DNNs. DAmageNet could be downloaded in http://www.pami.sjtu.edu.cn/Show/56/122.

研究动机与目标

• 通过创建一个通用的、零查询攻击基准，解决深度神经网络（DNNs）在对抗攻击下的脆弱性问题。
• 生成在多种基于 ImageNet 训练的 DNN 架构之间具有高度可迁移性的对抗样本。
• 提供一个数据集，使模型鲁棒性评估与改进无需访问目标模型或向其发起查询。
• 证明在无需梯度估计或模型查询访问的情况下，仍可实现高性能的黑盒攻击。

提出的方法

• 采用基于可迁移性的方法生成对抗样本，无需访问目标 DNN 的架构或参数。
• 该方法利用一个替代模型来生成可在多种 DNN 上泛化的扰动，从而确保高可迁移性。
• 通过 L2 范数（均方根偏差 ≈ 3.8）对扰动进行约束，以保持与原始 ImageNet 图像的视觉相似性。
• 攻击为零查询：在样本生成过程中未向目标模型发起任何查询，完全依赖来自替代模型的可迁移性。
• 样本从 1,000 个 ImageNet 类别中生成，每类约 100 个对抗样本，总计 96,020 个样本。
• 数据集按类别文件夹组织，并采用索引化文件名，以实现与原始 ImageNet 图像的直接映射。

实验结果

研究问题

• RQ1 是否可以在不查询目标模型的情况下，生成在多种 DNN 上具有高度可迁移性的对抗样本？
• RQ2 在零查询黑盒设置下，使用通用对抗扰动策略可实现的最大攻击成功率是多少？
• RQ3 在保持对多个模型的高攻击成功率的同时，扰动的最小幅度可以达到多小？
• RQ4 单个对抗样本集合是否能有效暴露多个最先进 ImageNet 模型的鲁棒性弱点？
• RQ5 对抗样本的可迁移性在多大程度上支持通用的、与模型无关的攻击？

主要发现

• DAmageNet 包含 96,020 个对抗样本，每个样本的平均 L2 扰动（均方根偏差）为 3.8，使其在视觉上与原始 ImageNet 图像几乎无法区分。
• 这些对抗样本在多个模型上实现了高达 100% 的 top-1 错误率，包括 VGG19、NASNetLarge、InceptionV4、Xception 和 DenseNet121。
• ResNet152 和 DenseNet169 的错误率分别为 81.8% 和 94.3%，表明其在不同模型间具有强大的跨模型可迁移性。
• 在 ResNet50 上攻击成功率达 92.5%，在 InceptionV3 上达 96.7%，表明其在不同架构间具有极强的泛化能力。
• 该数据集支持零查询黑盒攻击，因为在样本生成过程中未使用任何关于目标模型的信息或查询。
• DAmageNet 是首个系统性地利用可迁移、无查询对抗样本对跨模型鲁棒性进行基准测试的通用对抗数据集。