[论文解读] Adversarial Attack with Raindrops

Jiyuan Liu, Bingyi Lu+3 more|arXiv (Cornell University)|Feb 28, 2023

Adversarial Robustness in Machine Learning被引用 11

一句话总结

论文介绍 AdvRD，一种基于 GAN 的方法，用以生成看起来像真实雨滴且能够攻击 DNN 的对抗雨滴图像，并展示通过 AdvRD 的对抗性训练可提升对现实世界雨滴攻击的鲁棒性。

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial examples, which are usually designed artificially to fool DNNs, but rarely exist in real-world scenarios. In this paper, we study the adversarial examples caused by raindrops, to demonstrate that there exist plenty of natural phenomena being able to work as adversarial attackers to DNNs. Moreover, we present a new approach to generate adversarial raindrops, denoted as AdvRD, using the generative adversarial network (GAN) technique to simulate natural raindrops. The images crafted by our AdvRD look very similar to the real-world raindrop images, statistically close to the distribution of true raindrop images, and more importantly, can perform strong adversarial attack to the state-of-the-art DNN models. On the other side, we show that the adversarial training using our AdvRD images can significantly improve the robustness of DNNs to the real-world raindrop attacks. Extensive experiments are carried out to demonstrate that the images crafted by AdvRD are visually and statistically close to the natural raindrop images, can work as strong attackers to DNN models, and also help improve the robustness of DNNs to raindrop attacks.

研究动机与目标

• 证明自然现象如雨滴也可成为对 DNN 的对抗性攻击者。
• 提出 AdvRD，用以合成在视觉和统计上都类似真实雨滴的对抗性雨滴图像。
• 展示通过使用 AdvRD 样本进行对抗性训练，被攻击模型可以变得更鲁棒。
• 在多数据集和模型中评估 AdvRD 在白盒和黑盒设定下的有效性。

提出的方法

• 使用带生成器 G、判别器 D 和一个转移分类器 C 的准 GAN，以创建雨滴样的扰动。
• 训练 G，使其生成既能骗过 D，又通过 C 最大化对抗性影响。
• 融入编码器 E 和潜在变量 z，以强制雨滴的真实外观和潜在高斯性。
• 定义包含 L_gen、L_z、L_p 和 L_adv 的综合生成器损失 L_G，以平衡真实感与攻击能力。
• 通过对 z 取最大化目标损失 L_TC，在对 z 的约束下（白盒）或通过采样（黑盒）来优化对抗性雨滴攻击。
• 用 FID 相对于真实雨滴评估真实性，并在多种模型和数据集上将攻击性能与标准攻击进行比较。

实验结果

研究问题

• RQ1 雨滴能否作为现实世界 DNN 的自然对抗性扰动？
• RQ2 基于 GAN 的方法能否合成对多种 DNN 架构有效攻击的真实感对抗雨滴？
• RQ3 使用 AdvRD 的对抗性训练是否提升对现实雨滴扰动的鲁棒性？
• RQ4 AdvRD 雨滴在不同数据集下的白盒与黑盒设定下表现如何？
• RQ5 由平衡参数 eta 控制的现实感与攻击强度之间的权衡是什么？

主要发现

• AdvRD 生成的雨滴在视觉与统计上都接近真实雨滴（FID 比较）。
• AdvRD 雨滴在多种模型上可以作为强力攻击者，在黑盒设定下有时甚至优于基于梯度的方法。
• 使用 AdvRD 的对抗性训练降低现实世界和数字雨滴攻击的成功率，并可在某些干净数据集上提高准确性。
• 现实世界雨滴表现出显著的攻击潜力，在若干数据集上具有高的攻击成功率（如 NIPS-17 上 92.0%）。
• 增大 eta 会提高攻击强度但可能降低真实感；而增加噪声样本数 N 会提高攻击成功率，但代价是计算量。