[论文解读] AT-GAN: A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets.

Xiaosen Wang, Kun He+1 more|arXiv (Cornell University)|Apr 16, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用 24

一句话总结

AT-GAN 提出了一种新颖的生成式攻击框架，该框架通过基于 GAN 的方法，从随机噪声中学习生成非约束性、语义上有意义的对抗性样本，从而绕过依赖输入的扰动。通过将预训练的 GAN 从干净数据分布迁移至对抗性样本分布，AT-GAN 在白盒模型上实现了高攻击成功率，并在黑盒设置中表现出中等程度的可迁移性，生成了更具真实感和多样性的对抗性样本。

ABSTRACT

Despite the rapid development of adversarial machine learning, most adversarial attack and defense researches mainly focus on the perturbation-based adversarial examples, which is constrained by the input images. In comparison with existing works, we propose non-constrained adversarial examples, which are generated entirely from scratch without any constraint on the input. Unlike perturbation-based attacks, or the so-called unrestricted adversarial attack which is still constrained by the input noise, we aim to learn the distribution of adversarial examples to generate non-constrained but semantically meaningful adversarial examples. Following this spirit, we propose a novel attack framework called AT-GAN (Adversarial Transfer on Generative Adversarial Net). Specifically, we first develop a normal GAN model to learn the distribution of benign data, and then transfer the pre-trained GAN model to estimate the distribution of adversarial examples for the target model. In this way, AT-GAN can learn the distribution of adversarial examples that is very close to the distribution of real data. To our knowledge, this is the first work of building an adversarial generator model that could produce adversarial examples directly from any input noise. Extensive experiments and visualizations show that the proposed AT-GAN can very efficiently generate diverse adversarial examples that are more realistic to human perception. In addition, AT-GAN yields higher attack success rates against adversarially trained models under white-box attack setting and exhibits moderate transferability against black-box models.

研究动机与目标

• 为解决基于扰动的对抗性攻击受限于输入图像和输入噪声的局限性。
• 开发一种完全从随机噪声中合成对抗性样本的方法，而无需依赖输入数据。
• 通过学习对抗性样本的分布，以生成语义上有意义且逼真的对抗性样本。
• 通过生成对抗性分布的生成建模，提升攻击成功率，特别是针对对抗性训练的模型。
• 探索生成的对抗性样本在不同模型之间的可迁移性，包括黑盒场景。

提出的方法

• 训练一个标准 GAN 以建模良性训练数据的分布，学习真实数据流形的表示。
• 通过在对抗性样本上微调，将预训练的生成器迁移至学习目标模型的对抗性样本分布。
• 使用迁移后的生成器直接从随机噪声向量生成非约束性对抗性样本。
• 将生成器应用于生成语义上有意义且在感知上逼真的多样化对抗性样本。
• 利用 GAN 的潜在空间探索并采样对抗性分布，实现高效且可扩展的攻击生成。
• 利用生成器对复杂数据分布的建模能力，生成在分布上与真实数据高度相似的对抗性样本。

实验结果

研究问题

• RQ1 是否可以完全不依赖输入数据或基于输入的扰动，从随机噪声中生成对抗性样本？
• RQ2 基于 GAN 的模型是否能有效学习并生成在人类感知下既语义上有意义又逼真的对抗性样本？
• RQ3 AT-GAN 在白盒和黑盒设置下的攻击成功率与传统基于扰动的攻击相比如何？
• RQ4 AT-GAN 生成的对抗性样本在多大程度上可跨不同模型迁移，尤其是在目标模型经过对抗性训练的情况下？
• RQ5 是否可以使用 GAN 框架有效建模并迁移对抗性样本的分布，以提升攻击效率和多样性？

主要发现

• AT-GAN 能够直接从随机噪声中成功生成非约束性对抗性样本，完全无需任何输入图像或基于输入的扰动。
• 通过可视化和人类感知评估确认，生成的对抗性样本更具真实感且语义上有意义。
• 在白盒设置下，AT-GAN 的攻击成功率高于基线方法，尤其在对抗性训练模型上表现更优。
• 该框架表现出中等程度的可迁移性，即使无法直接访问目标模型，也能在黑盒模型上实现有效攻击。
• 迁移后的 GAN 生成器学习到了与真实数据分布高度匹配的对抗性样本分布，从而能够生成多样且高质量的样本。
• 该方法是首个专门设计用于从噪声生成对抗性样本的生成模型，为对抗性攻击生成树立了新范式。