[论文解读] Machine vs Machine: Defending Classifiers Against Learning-based Adversarial Attacks.

Jihun Hamm|arXiv (Cornell University)|Nov 12, 2017

Adversarial Robustness in Machine Learning被引用 3

一句话总结

本文将对抗性攻击与防御形式化为博弈论框架，通过敏感性惩罚提出最佳最坏情况防御与攻击方法。实验验证了基于学习的攻击的有效性，并揭示了对抗性攻击与隐私攻击之间的紧密联系，结果在MNIST和CIFAR-10上得到验证。

ABSTRACT

Recently, researchers have discovered that the state-of-the-art object classifiers can be fooled easily by small perturbations in the input unnoticeable to human eyes. Several methods were proposed to craft adversarial examples, as well as methods of robustifying the classifier against such examples. An attacker with the knowledge of the classifier parameters can generate strong adversarial patterns. Conversely, a classifier with the knowledge of such patterns can be trained to be robust to them. The cat-and-mouse game nature of the attacks and the defenses raises the question of the presence of an equilibrium in the dynamic. In this paper, we propose a game framework to formulate the interaction of attacks and defenses and present the natural notion of the best worst-case defense and attack. We propose simple algorithms to numerically find those solutions motivated by sensitivity penalization. In addition, we show the potentials of learning-based attacks, and present the close relationship between the adversarial attack and the privacy attack problems. The results are demonstrated with MNIST and CIFAR-10 datasets.

研究动机与目标

• 将对抗性攻击与防御之间的动态互动形式化为博弈论问题。
• 定义并计算最佳最坏情况防御与攻击，确保在最优对抗条件下具备鲁棒性。
• 研究基于学习的攻击在生成更有效对抗性样本方面的潜力。
• 揭示对抗性攻击与隐私攻击之间的理论与实践关联。
• 提供一种数值上可处理的框架，通过敏感性惩罚寻找均衡解。

提出的方法

• 将攻击-防御互动形式化为极小极大博弈，建模最坏情况下的鲁棒性场景。
• 引入敏感性惩罚作为正则化技术，训练对最坏情况扰动具有鲁棒性的分类器。
• 提出迭代算法，数值逼近最佳最坏情况攻击与防御策略。
• 利用基于梯度的优化方法生成在扰动约束下最大化分类器损失的对抗性样本。
• 将该框架应用于标准基准数据集，使用MNIST和CIFAR-10进行实证验证。
• 在概念与分析层面建立对抗性鲁棒性与机器学习中隐私保护之间的类比。

实验结果

研究问题

• RQ1 博弈论框架能否以系统化方式建模对抗性攻击与防御之间的均衡？
• RQ2 在对抗性扰动下，最佳最坏情况防御与攻击的定义是什么？
• RQ3 基于学习的攻击在规避通过敏感性惩罚训练的鲁棒分类器方面有多有效？
• RQ4 对抗性攻击与隐私攻击之间存在怎样的理论与实践关联？
• RQ5 敏感性惩罚能否在对抗训练中产生数值稳定且鲁棒的解？

主要发现

• 所提出的博弈论框架成功识别出最佳最坏情况防御与攻击，提供了系统化的均衡解。
• 敏感性惩罚使得分类器能够抵御最坏情况下的对抗性扰动，提升了在攻击下的泛化能力。
• 基于学习的攻击在生成有效对抗性样本方面优于传统方法，尤其当攻击者拥有完整模型知识时。
• 在概念与分析层面建立了对抗性鲁棒性与隐私保护之间的强关联，表明二者可能共享防御机制。
• 在MNIST和CIFAR-10上的实证结果验证了该框架的有效性，展示了在对抗性条件下鲁棒性的提升。
• 该框架揭示，对对抗性样本的鲁棒性可能天然提升对隐私攻击的抵抗能力，提示可设计兼具双重功能的防御机制。