[论文解读] Adversarial Example Defenses: Ensembles of Weak Defenses are not Strong

Warren He, James Wei+3 more|arXiv (Cornell University)|Jun 15, 2017

Adversarial Robustness in Machine Learning参考文献 27被引用 80

一句话总结

该论文指出，弱对抗防御的集合（特征压缩、specialists+1，以及检测器集合）并未对自适应攻击者提供强健的鲁棒性；他们能够构造低失真对抗样本来绕过它们。

ABSTRACT

Ongoing research has proposed several methods to defend neural networks against adversarial examples, many of which researchers have shown to be ineffective. We ask whether a strong defense can be created by combining multiple (possibly weak) defenses. To answer this question, we study three defenses that follow this approach. Two of these are recently proposed defenses that intentionally combine components designed to work well together. A third defense combines three independent defenses. For all the components of these defenses and the combined defenses themselves, we show that an adaptive adversary can create adversarial examples successfully with low distortion. Thus, our work implies that ensemble of weak defenses is not sufficient to provide strong defense against adversarial examples.

研究动机与目标

• 评估将多种弱防御组合是否能对抗对抗性样本提供更强的整体防御。
• 评估三种集成防御策略，以确定组件和整体的鲁棒性。
• 开发针对单独防御及其组合的自适应攻击。
• 分析对抗样本在检测器之间的转移性，以理解为何集成可能无效。

提出的方法

• 使用基于优化的对抗攻击在引发错分的同时最小化失真度（loss(x') = ||x' - x||^2 + c·J(Fθ(x'), y)）。
• 对单独的特征压缩组件（颜色深度降低和空间平滑）进行自适应攻击测试。
• 对组合特征压缩检测器（三分支系统）进行自适应攻击测试。
• 评估 specialists+1 的专家集群，并尝试针对性对抗样本使通用者和适用的专家都被欺骗。
• 通过通过联合损失创建对抗样本以绕过所有检测器（Gong, Metzen, Feinman）来评估检测器集群。
• 在 MNIST 和 CIFAR-10 数据集上测量攻击成功率和失真（L2）。

实验结果

研究问题

• RQ1 将多种防御进行集成是否能显著提升对对抗性样本的鲁棒性，相比任何单一防御？
• RQ2 自适应攻击者是否能够以低失真跨越不同防御架构击败集成防御？
• RQ3 对抗样本在检测器之间转移性如何影响集成防御的有效性？
• RQ4 某些集成配置（例如特征压缩 vs. specialists+1 vs. 检测器集合）比其他配置更具鲁棒性吗？

主要发现

• 自适应攻击者能够生成绕过所有评估防御及组件的低失真对抗样本。
• 弱防御的集合相比最强的单一组件几乎没有提供额外的鲁棒性。
• 对抗样本通常在检测器之间转移，从而削弱了集成鲁棒性。
• 颜色深度降低和空间平滑各自都容易受到自适应攻击，它们的组合至多带来边际提升。
• Specialists+1 集成增加了所需失真，但仍易受自适应攻击。
• 检测器的集合也未能提供实质性的鲁棒性，因为对抗样本的转移性。