[论文解读] Cross-Domain Transferability of Adversarial Perturbations

Muzammal Naseer, Salman Khan+3 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用 49

一句话总结

本文提出一种与分布和领域无关的生成框架，学习通用对抗扰动，能够在不同领域（如绘画、漫画、医学图像到 ImageNet）的分类器上实现高转移性，使用相对判别器。

ABSTRACT

Adversarial examples reveal the blind spots of deep neural networks (DNNs) and represent a major concern for security-critical applications. The transferability of adversarial examples makes real-world attacks possible in black-box settings, where the attacker is forbidden to access the internal parameters of the model. The underlying assumption in most adversary generation methods, whether learning an instance-specific or an instance-agnostic perturbation, is the direct or indirect reliance on the original domain-specific data distribution. In this work, for the first time, we demonstrate the existence of domain-invariant adversaries, thereby showing common adversarial space among different datasets and models. To this end, we propose a framework capable of launching highly transferable attacks that crafts adversarial patterns to mislead networks trained on wholly different domains. For instance, an adversarial function learned on Paintings, Cartoons or Medical images can successfully perturb ImageNet samples to fool the classifier, with success rates as high as $\sim$99\% ($\ell_{\infty} \le 10$). The core of our proposed adversarial function is a generative network that is trained using a relativistic supervisory signal that enables domain-invariant perturbations. Our approach sets the new state-of-the-art for fooling rates, both under the white-box and black-box scenarios. Furthermore, despite being an instance-agnostic perturbation function, our attack outperforms the conventionally much stronger instance-specific attack methods.

研究动机与目标

• 证明存在跨越多样图像领域和模型的领域不变对手（对抗样本）能够转移。
• 开发一种生成框架，在不使用目标领域数据的情况下，制造高度可迁移的通用扰动。
• 通过引入在扰动样本与原始样本之间的相对监督信号来提高攻击的转移性。

提出的方法

• 使用生成器 G_theta 来产生扰动，作用于源域图像，扰动在有限的 l_infinity 范数内。
• 使用一个判别器 D_psi，它对清洁图像和扰动图像输出类别概率，指导扰动的生成。
• 引入一种相对交叉熵损失（RCE），通过比较扰动样本与清洁样本的预测来最大化欺骗间隙（式(3)）。
• 针对定向攻击，将定向交叉熵与清洁图像交叉熵结合（式(4)）。
• 仅在源域上训练生成器，在训练期间不使用目标域的标签或数据。
• 在将扰动送入判别器之前，将生成的扰动投影以满足扰动预算。

实验结果

研究问题

• RQ1 在一个领域学到的对抗扰动是否可以在完全不同的领域欺骗分类器，而无需访问目标领域数据？
• RQ2 相对损失是否比标准交叉熵在对抗生成中改善跨域转移性？
• RQ3 所提出的通用扰动函数在白盒、黑盒以及跨域黑盒设置中的表现如何？
• RQ4 训练动态和高斯平滑如何影响对自然训练模型与对抗性训练模型的转移性？

主要发现

• 在绘画、漫画或 ChestX 图像上学习的对抗扰动可以干扰 ImageNet 分类器，欺骗率高，在某些设定下甚至达到约 ~99%（l_infty ≤ 10）。
• 相对对抗扰动（RAP）框架在白盒和黑盒转移场景中，优于标准及先前方法。
• 通用扰动函数在跨模型和跨领域的转移中超越了最先进的实例特定攻击，在欺骗率上有较大平均提升。
• 跨域黑盒结果显示在攻击者缺乏目标模型访问、体系结构或数据分布知识的情况下也有显著的欺骗率。
• 对生成器输出进行高斯平滑可以进一步提升对对抗性训练模型的转移性。
• 训练动态表明，增加训练轮次可以提高对自然训练模型的转移性，但可能降低对对抗性训练模型的转移性。