[论文解读] Adversarial Examples in Modern Machine Learning: A Review

Rey Reza Wiyatno, Anqi Xu+2 more|arXiv (Cornell University)|Nov 13, 2019

Adversarial Robustness in Machine Learning参考文献 235被引用 50

一句话总结

对计算机视觉中的对抗样本的综合综述，详细介绍攻击方法、防御、可转移性和现实世界的考虑因素。它解释了为何模型容易受到攻击以及攻击和防御如何演变。

ABSTRACT

Recent research has found that many families of machine learning models are vulnerable to adversarial examples: inputs that are specifically designed to cause the target model to produce erroneous outputs. In this survey, we focus on machine learning models in the visual domain, where methods for generating and detecting such examples have been most extensively studied. We explore a variety of adversarial attack methods that apply to image-space content, real world adversarial attacks, adversarial defenses, and the transferability property of adversarial examples. We also discuss strengths and weaknesses of various methods of adversarial attack and defense. Our aim is to provide an extensive coverage of the field, furnishing the reader with an intuitive understanding of the mechanics of adversarial attack and defense mechanisms and enlarging the community of researchers studying this fundamental set of problems.

研究动机与目标

• 总结用于视觉任务的监督学习中对抗样本的全景。
• 给出攻击与防御方法的分类学，并给出直观机制。
• 突出对抗威胁的现实世界方面和可转移性方面。

提出的方法

• 在有目标和无目标设定下，对对抗性攻击方法（白盒和黑盒）的调研与分类。
• 讨论防御及其脆弱性，包括梯度掩蔽和鲁棒性挑战。
• 阐述现实世界的对抗场景（物理和非物理）及其影响。
• 讨论可转移性特性及影响其的因素。

实验结果

研究问题

• RQ1 计算机视觉模型中对抗攻击的主要类别和机制是什么？
• RQ2 已提出哪些防御对抗对抗攻击，它们的失败点在哪里（例如梯度掩蔽）？
• RQ3 可转移性如何在模型和数据集之间表现，以及哪些因素影响它？
• RQ4 对抗威胁的实际现实世界考虑有哪些（物理世界攻击）？

主要发现

• 对抗样本揭示了现代视觉模型的鲁棒性差距，并且可以构造在感知上相似但会导致错误分类。
• 存在多种攻击方法，包括基于梯度的、基于优化的以及黑盒方法，具有不同的强度和可转移性。
• 防御常常依赖梯度混淆或掩蔽，这些可以被更新的攻击策略绕过；鲁棒性解决方案仍然具有挑战性。
• 对抗样本在同一数据集训练的模型之间的可转移性被观察到，表明共享漏洞。
• 现实世界的对抗场景（例如打印出的或物理贴片）带来超越数字输入的实际威胁。