[论文解读] GAMA: Generative Adversarial Multi-Object Scene Attacks

Abhishek Aich, Calvin Khang-Ta+5 more|arXiv (Cornell University)|Sep 20, 2022

Adversarial Robustness in Machine Learning被引用 9

一句话总结

GAMA 通过利用 CLIP 的视觉-语言对齐能力，首次提出了针对多目标场景的生成对抗攻击框架，训练一个扰动生成器，以在视觉和文本嵌入空间中最大化干净图像与对抗图像之间的特征差异。在黑盒设置下，其误分类率比当前最先进方法高出约 16%，展现出强大的迁移能力与对防御措施的鲁棒性。

ABSTRACT

The majority of methods for crafting adversarial attacks have focused on scenes with a single dominant object (e.g., images from ImageNet). On the other hand, natural scenes include multiple dominant objects that are semantically related. Thus, it is crucial to explore designing attack strategies that look beyond learning on single-object scenes or attack single-object victim classifiers. Due to their inherent property of strong transferability of perturbations to unknown models, this paper presents the first approach of using generative models for adversarial attacks on multi-object scenes. In order to represent the relationships between different objects in the input scene, we leverage upon the open-sourced pre-trained vision-language model CLIP (Contrastive Language-Image Pre-training), with the motivation to exploit the encoded semantics in the language space along with the visual space. We call this attack approach Generative Adversarial Multi-object scene Attacks (GAMA). GAMA demonstrates the utility of the CLIP model as an attacker's tool to train formidable perturbation generators for multi-object scenes. Using the joint image-text features to train the generator, we show that GAMA can craft potent transferable perturbations in order to fool victim classifiers in various attack settings. For example, GAMA triggers ~16% more misclassification than state-of-the-art generative approaches in black-box settings where both the classifier architecture and data distribution of the attacker are different from the victim. Our code is available here: https://abhishekaich27.github.io/gama.html

研究动机与目标

• 为解决现有对抗攻击方法多集中于单目标场景，而现实世界场景通常包含多个语义相关的对象这一空白。
• 开发一种生成式攻击框架，有效实现未知模型在多目标场景下的扰动迁移。
• 利用 CLIP 的联合图像-文本表征，指导生成更具威力且语义一致的对抗扰动。
• 相比现有图像特定或单目标的生成式攻击方法，提升攻击的迁移能力与效率。

提出的方法

• 利用 CLIP 的预训练视觉-语言编码器，从干净图像和候选文本提示中提取联合图像与文本特征。
• 通过在视觉空间和文本嵌入空间中最大化干净图像与扰动图像之间的特征差异，训练一个生成模型（G_θ）以生成对抗性扰动。
• 采用对比损失函数，使扰动图像的 CLIP 图像特征远离干净图像的特征，同时趋向于语义不相似的文本提示特征。
• 基于与 CLIP 输出特征维度匹配的原则，从替代分类器中选择中间层，避免了先前方法所需的耗时手动层搜索。
• 使用融合 Leaky ReLU 激活函数和 Adam 优化器，并采用基于边距的对比损失（α=1.0）以稳定训练过程。
• 在多标签数据集（如 Pascal-VOC 和 MS-COCO）上进行训练，输入分辨率为 224×224，CLIP 主干网络采用 ViT-B/16。

实验结果

研究问题

• RQ1 视觉-语言模型（如 CLIP）能否被有效用于在多目标场景中生成可迁移的对抗性扰动？
• RQ2 与纯视觉方法相比，引入语言语义信息如何提升生成式对抗攻击的鲁棒性与迁移能力？
• RQ3 在未知模型架构和数据分布的黑盒设置下，GAMA 是否优于现有的最先进生成式攻击方法？
• RQ4 在中值模糊或归一化等防御预处理下，GAMA 的表现如何？
• RQ5 CLIP 的零样本能力是否可用于验证对抗样本的语义一致性和标签偏移？

主要发现

• 在替代模型和数据分布均不同于目标模型的黑盒设置下，GAMA 的误分类率比当前最先进生成式攻击方法高出约 16%。
• 在中值模糊防御下，GAMA 在 VGG16、Res152 和 DenseNet121 上的平均攻击成功率保持在 26.06%，优于所有基线方法。
• GAMA 在数据预处理防御下表现出更优的鲁棒性，PGD（ε=8）下的平均攻击成功率为 37.04%，高于 BIA 的 38.58% 和 TAP 的 38.82%。
• 即使目标模型应用了归一化或其他预处理操作，GAMA 的攻击成功率仍保持较高水平，表明其具备强大的迁移能力。
• 以 CLIP 作为零样本分类器的评估结果表明，对抗扰动能有效改变多目标场景的预测标签，验证了攻击的语义一致性。
• 在单张 RTX 3090 GPU 上，MS-COCO 数据集的训练耗时约 10 小时，Pascal-VOC 数据集约 1 小时，表明该方法在大规模多目标场景攻击中具备合理的效率。