[论文解读] BUZz: BUffer Zones for defending adversarial examples in image classification

Kaleel Mahmood, Phuong Ha Nguyen+3 more|arXiv (Cornell University)|Oct 3, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用 4

一句话总结

本文提出了 BUZz，一种针对图像分类中基于梯度的对抗性攻击的新防御方法，采用缓冲区——类间区域，当输入落入这些区域时即被标记为对抗性样本。通过将深度神经网络与简单的图像变换相结合，BUZz 在 CIFAR-10 和 Fashion-MNIST 上实现了低于 11% 的攻击成功率，且仅导致干净准确率下降 11–18%，通过一种衡量安全性和准确率平衡的新指标，优于现有最先进防御方法。

ABSTRACT

We propose a novel defense against all existing gradient based adversarial attacks on deep neural networks for image classification problems. Our defense is based on a combination of deep neural networks and simple image transformations. While straightforward in implementation, this defense yields a unique security property which we term buffer zones. We argue that our defense based on buffer zones offers significant improvements over state-of-the-art defenses. We are able to achieve this improvement even when the adversary has access to the {\em entire} original training data set and unlimited query access to the defense. We verify our claim through experimentation using Fashion-MNIST and CIFAR-10: We demonstrate $<11\%$ attack success rate -- significantly lower than what other well-known state-of-the-art defenses offer -- at only a price of a $11-18\%$ drop in clean accuracy. By using a new intuitive metric, we explain why this trade-off offers a significant improvement over prior work.

研究动机与目标

• 解决深度神经网络对微小、难以察觉的扰动的脆弱性，这些扰动会产生对抗性样本。
• 开发一种防御方法，在显著降低对抗性攻击成功率的同时保持高干净准确率。
• 通过引入缓冲区概念，实现安全（低攻击成功率）与干净准确率之间的可调和权衡。
• 在具备完整训练数据访问权限和查询能力的强黑盒攻击环境下评估该防御方法。
• 提出一个新指标 δ，以定量捕捉防御鲁棒性与干净准确率之间的平衡。

提出的方法

• 该防御利用缓冲区——决策边界之间的区域，若输入落入这些区域，则被分类为对抗性样本。
• 使用深度神经网络对输入进行分类，并通过基于阈值的机制检测样本是否位于缓冲区中。
• 在分类前对输入应用图像变换，以增强鲁棒性并自然形成缓冲区。
• 缓冲区机制增加了对抗性成功所需的扰动大小，使得在标准 ε 约束下攻击变得不可行。
• 通过多种配置（BUZz2、BUZz4、BUZz8）和阈值变体（BT70、BT95、BT99）实现防御，以调节安全与准确率之间的权衡。
• 引入新指标 δ = γ + (p − γ)α 以评估防御性能，综合考虑干净准确率下降（γ）和攻击成功率（α）。

实验结果

研究问题

• RQ1 能否设计一种防御方法，在保持高干净准确率的同时，使对抗性攻击成功率显著低于现有方法？
• RQ2 引入缓冲区是否能在黑盒对抗性设置下实现鲁棒性与干净准确率之间的可调和权衡？
• RQ3 当攻击者拥有无限查询访问权限和完整训练数据访问权限时，该防御是否仍保持有效性？
• RQ4 与传统评估指标相比，新指标 δ 在捕捉安全性和准确率之间真实权衡方面表现如何？
• RQ5 图像变换与深度网络结合，通过缓冲区形成在多大程度上增强了模型鲁棒性？

主要发现

• 在无目标黑盒攻击下，BUZz 在 CIFAR-10 和 Fashion-MNIST 上的攻击成功率均低于 11%，显著低于现有最先进防御方法。
• 该防御在 CIFAR-10 上保持了 76–94% 的干净准确率，与原始模型相比仅下降 11–18%。
• BUZz2 配置在 CIFAR-10 上对目标攻击的 δ = 0.16，对无目标攻击的 δ = 0.22，优于比较中所有其他防御方法。
• 基于阈值的变体（BT70、BT95、BT99）和多网络配置（BUZz2、BUZz4、BUZz8）使用户能够有效调节安全与准确率之间的权衡。
• 所提出的 δ 指标表明，与先前防御相比，BUZz 在鲁棒性与干净准确率之间实现了更优的权衡，因为它在所有配置下均实现了更低的 δ 值。
• 即使在强混合黑盒攻击（如 C&W、EAD）下，BUZz 仍保持高度鲁棒性，无目标设置下攻击成功率低于 10%，仅在防御高度调优时，目标设置下攻击成功率接近 100%。