[论文解读] Machine vs Machine: Minimax-Optimal Defense Against Adversarial Examples

Jihun Hamm, Mehra, Akshay|arXiv (Cornell University)|Nov 12, 2017

Adversarial Robustness in Machine Learning参考文献 27被引用 4

一句话总结

本文将对抗样本防御形式化为攻击者与防御者之间的双人连续零和博弈，提出一种极小化-极大化优化框架，以寻找对基于梯度和基于神经网络的攻击具有鲁棒性的分类器。在 MNIST 和 CIFAR-10 上的实验表明，极小化-极大化优化的防御方法在鲁棒性方面优于非极小化-极大化防御方法，证明了对抗性防御设计的博弈论方法在应对自适应对手方面的优越性。

ABSTRACT

Recently, researchers have discovered that the state-of-the-art object classifiers can be fooled easily by small perturbations in the input unnoticeable to human eyes. It is also known that an attacker can generate strong adversarial examples if she knows the classifier parameters. Conversely, a defender can robustify the classifier by retraining if she has access to the adversarial examples. We explain and formulate this adversarial example problem as a two-player continuous zero-sum game, and demonstrate the fallacy of evaluating a defense or an attack as a static problem. To find the best worst-case defense against whitebox attacks, we propose a continuous minimax optimization algorithm. We demonstrate the minimax defense with two types of attack classes -- gradient-based and neural network-based attacks. Experiments with the MNIST and the CIFAR-10 datasets demonstrate that the defense found by numerical minimax optimization is indeed more robust than non-minimax defenses. We discuss directions for improving the result toward achieving robustness against multiple types of attack classes.

研究动机与目标

• 为应对对抗攻击与防御之间的动态、交互特性，这些方法通常被孤立评估而非作为一对进行评估。
• 将对抗防御形式化为连续的极小化-极大化优化问题，将攻击者与防御者建模为零和博弈中的参与者。
• 开发一种数值上可计算的方法，以求解对特定攻击类别（包括基于梯度和基于神经网络的攻击）具有鲁棒性的极小化-极大化最优分类器。
• 证明极小化-极大化优化的防御方法在泛化能力上优于标准对抗训练，并且对强自适应攻击更具鲁棒性。
• 探索对抗攻击与隐私保护数据变换之间的对偶性，表明二者具有共同的数学基础。

提出的方法

• 将对抗防御问题形式化为连续的极小化-极大化优化：min_u max_z f(u, z)，其中 u 为分类器参数，z 为对抗扰动。
• 建模两类攻击：基于梯度的攻击（如 FGSM、IFGSM）和通过训练生成欺骗性扰动的基于神经网络的攻击。
• 使用迭代优化求解极小化-极大化问题，交替进行对抗样本生成（攻击）和分类器微调（防御）。
• 将极小化-极大化框架应用于固定类型攻击（如 FGSM）和基于学习的攻击（如两层全连接网络），以寻找鲁棒分类器。
• 通过组合极小化-极大化目标函数，将公式扩展至混合攻击类别：min_u max{f(u,z₁(u)), ..., f(u,zₘ(u)), max_v f(u,z_{m+1}(u,v)), ...}。
• 利用领导者-追随者博弈结构，对公开防御与自适应攻击的顺序性进行建模。

实验结果

研究问题

• RQ1 对抗防御能否被有意义地建模为攻击者与防御者之间的双人博弈，而非静态分类问题？
• RQ2 与标准对抗训练相比，极小化-极大化优化防御在应对强自适应攻击时的鲁棒性如何？
• RQ3 在极小化-极大化防御的背景下，基于神经网络的攻击是否显著强于且更具多样性，相较于基于梯度的攻击？
• RQ4 通过求解混合极小化-极大化问题，能否设计出对多种攻击类别均具有鲁棒性的单一防御方法？
• RQ5 在博弈论建模下，对抗防御与隐私保护数据变换之间存在何种关系？

主要发现

• 极小化-极大化优化防御在 MNIST 和 CIFAR-10 上均优于非极小化-极大化防御，展现出对强攻击的优越鲁棒性。
• 基于神经网络的攻击在经验上比基于梯度的攻击更强大且更具多样性，必须在鲁棒防御设计中予以考虑。
• 极小化-极大化框架成功识别出对给定攻击类别中最坏情况攻击具有鲁棒性的防御策略，即使攻击类别复杂或为学习所得。
• 所提出的方法表明，孤立评估防御会导致错误结论，因为攻击的有效性在很大程度上取决于其所面对的防御机制。
• 极小化-极大化方法为设计对自适应白盒攻击具有鲁棒性的分类器提供了原则性框架。
• 对抗攻击与隐私保护攻击之间存在数学上的对偶性，表明两者可采用共享的优化策略。