[论文解读] Generating Adversarial yet Inconspicuous Patches with a Single Image

Jinqi Luo, Tao Bai+1 more|arXiv (Cornell University)|Sep 21, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用 4

一句话总结

本文提出一种基于生成对抗网络（GAN）的方法，仅使用单张图像即可生成高效且视觉上不显眼的对抗性补丁。通过采用从粗到精的多尺度生成器-判别器框架，结合感知敏感性引导的补丁放置与上下文一致性建模，该方法在实现高达100%攻击成功率的同时，仅在36.96%的情况下被人类检测到，显著低于现有方法，成为首个具备强逃避能力的一次性对抗补丁生成方法。

ABSTRACT

Deep neural networks have been shown vulnerable toadversarial patches, where exotic patterns can resultin models wrong prediction. Nevertheless, existing ap-proaches to adversarial patch generation hardly con-sider the contextual consistency between patches andthe image background, causing such patches to be eas-ily detected and adversarial attacks to fail. On the otherhand, these methods require a large amount of data fortraining, which is computationally expensive. To over-come these challenges, we propose an approach to gen-erate adversarial yet inconspicuous patches with onesingle image. In our approach, adversarial patches areproduced in a coarse-to-fine way with multiple scalesof generators and discriminators. Contextual informa-tion is encoded during the Min-Max training to makepatches consistent with surroundings. The selection ofpatch location is based on the perceptual sensitivity ofvictim models. Through extensive experiments, our ap-proach shows strong attacking ability in both the white-box and black-box setting. Experiments on saliency de-tection and user evaluation indicate that our adversar-ial patches can evade human observations, demonstratethe inconspicuousness of our approach. Lastly, we showthat our approach preserves the attack ability in thephysical world.

研究动机与目标

• 解决现有对抗性补丁方法依赖大规模训练数据且生成补丁视觉上显眼的局限性。
• 开发一种仅从单张图像生成对抗性补丁的方法，以降低数据与计算需求。
• 通过确保补丁与图像背景的上下文一致性，提升补丁的视觉隐蔽性。
• 在保持最小人类可检测性的同时，提升攻击成功率与在多种目标模型间的迁移能力。

提出的方法

• 采用多尺度生成器-判别器对的粗到精多尺度GAN框架，在不同分辨率的图像金字塔上进行训练。
• 通过目标模型的注意力图引导补丁生成，以聚焦最敏感区域，提升攻击成功率。
• 判别器同时依赖生成的补丁及其周围上下文进行条件判断，确保空间与上下文一致性。
• 生成器将上采样后的粗尺度补丁作为跳跃连接输入，以保持跨尺度的结构连贯性。
• 训练目标结合对抗损失、攻击损失（欺骗目标模型）、重建损失与总变差损失，以实现平滑纹理。
• 在每个尺度上执行最小-最大优化，联合训练生成器与判别器，使用完整损失函数。

实验结果

研究问题

• RQ1 能否仅使用单张图像有效生成对抗性补丁，而无需大规模预训练数据？
• RQ2 如何在保持高攻击成功率的同时使对抗性补丁在视觉上不显眼？
• RQ3 所提方法在黑盒设置下，对多样化目标模型的迁移能力达到何种程度？
• RQ4 与现有方法相比，该方法在人类可检测性方面表现如何？

主要发现

• 在10个ImageNet类别上，该方法在白盒设置下实现了99.58%的平均攻击成功率。
• 在黑盒设置下，该方法保持了强大的迁移能力，在GoogleNet上达到99.25%的成功率，在MobileNetV2上达到90.46%。
• 人类评估显示，仅36.96%的含生成补丁图像被识别为合成图像，显著低于Google Patch（93.63%）与PS-GAN（89.90%）。
• 该方法成功生成了与背景在感知上一致的视觉隐蔽补丁，如图3的定性示例所示。
• 消融实验证实了多尺度训练与上下文感知判别在提升补丁真实感与攻击有效性中的关键作用。