[论文解读] Adversarial Example Games

Avishek Joey Bose, Gauthier Gidel+5 more|arXiv (Cornell University)|Jul 1, 2020

Adversarial Robustness in Machine Learning参考文献 79被引用 12

一句话总结

本文提出了对抗性样本博弈（Adversarial Example Games, AEG），一种极小-极大博弈框架，通过训练生成器生成可迁移的对抗性样本，有效攻击任意给定假设类中的分类器。理论上证明该框架可收敛至均衡点，生成最优、最坏情况下的对抗性样本。AEG在非交互式黑盒设置下于MNIST和CIFAR-10数据集上实现了最先进性能——分别实现29.9%和47.2%的平均性能提升。

ABSTRACT

The existence of adversarial examples capable of fooling trained neural network classifiers calls for a much better understanding of possible attacks to guide the development of safeguards against them. This includes attack methods in the challenging non-interactive blackbox setting, where adversarial attacks are generated without any access, including queries, to the target model. Prior attacks in this setting have relied mainly on algorithmic innovations derived from empirical observations (e.g., that momentum helps), lacking principled transferability guarantees. In this work, we provide a theoretical foundation for crafting transferable adversarial examples to entire hypothesis classes. We introduce Adversarial Example Games (AEG), a framework that models the crafting of adversarial examples as a min-max game between a generator of attacks and a classifier. AEG provides a new way to design adversarial examples by adversarially training a generator and a classifier from a given hypothesis class (e.g., architecture). We prove that this game has an equilibrium, and that the optimal generator is able to craft adversarial examples that can attack any classifier from the corresponding hypothesis class. We demonstrate the efficacy of AEG on the MNIST and CIFAR-10 datasets, outperforming prior state-of-the-art approaches with an average relative improvement of $29.9\%$ and $47.2\%$ against undefended and robust models (Table 2 & 3) respectively.

研究动机与目标

• 解决非交互式黑盒（NoBox）对抗性攻击中缺乏理论基础的问题，其中攻击者无法访问目标模型。
• 构建一个系统性框架，生成可在整个分类器假设类中可迁移的对抗性样本。
• 提供理论保证：该博弈中最优对抗性分布对假设类中最难被欺骗的分类器也有效。
• 设计一种训练过程，通过对抗性博弈动态同时增强攻击者与分类器。
• 在攻击标准模型与鲁棒模型方面，实证证明其优于启发式NoBox方法。

提出的方法

• 将对抗性样本生成建模为生成器（生成对抗性样本）与分类器（检测对抗性输入上的标签）之间的极小-极大博弈。
• 使用标准多分类交叉熵损失定义博弈，而非对抗生成网络（GAN）风格的判别任务。
• 证明AEG框架中存在纳什均衡，其中最优生成器可生成对假设类中任意分类器均有效的对抗性样本。
• 表明最优对抗性分布最大化目标数据集上的受限条件熵，提供理论表征。
• 使用神经网络实现生成器与分类器，通过基于梯度的端到端优化训练两者。
• 利用均衡状态下的生成器生成对抗性样本，并评估其在未见模型架构与鲁棒模型上的可迁移性。

实验结果

研究问题

• RQ1 博弈论框架能否为非交互式黑盒设置下的可迁移对抗性样本生成提供系统性、理论基础坚实的方法？
• RQ2 此类博弈的纳什均衡是否能产生对假设类中最鲁棒分类器也有效的对抗性样本？
• RQ3 最优对抗性分布与条件熵等信息论量之间有何关系？
• RQ4 在此博弈框架中进行对抗性训练，是否能相比启发式NoBox方法实现更强的攻击性能？
• RQ5 AEG框架在多大程度上能生成可迁移至鲁棒训练模型与未见架构的对抗性样本？

主要发现

• AEG框架保证存在纳什均衡，确保最优对抗性样本分布的存在性。
• AEG中的最优生成器可生成对给定假设类中任意分类器均有效的对抗性样本，提供最坏情况攻击保障。
• 在MNIST上，AEG在非交互式黑盒攻击中相比先前最先进方法平均提升29.9%。
• 在CIFAR-10上，AEG在未防御模型与鲁棒模型攻击中相比先前SOTA方法平均提升47.2%。
• 该框架成功生成了可在不同模型架构与鲁棒模型间泛化的可迁移对抗性样本。
• 最优对抗性分布被证明最大化一种受限条件熵形式，将博弈解与信息论原理相联系。