[论文解读] Adversarial Examples on Object Recognition: A Comprehensive Survey

Alex Serban, Erik Poll+1 more|arXiv (Cornell University)|Aug 7, 2020

Adversarial Robustness in Machine Learning参考文献 180被引用 11

一句话总结

本篇全面综述探讨了目标识别中的对抗样本，分析其成因、攻击与防御方法、模型间的可迁移性，以及对深度神经网络安全性与鲁棒性的意义。该综述为理解该现象提供了统一框架，并指出了实现认证鲁棒性与可扩展防御的开放性挑战。

ABSTRACT

Deep neural networks are at the forefront of machine learning research. However, despite achieving impressive performance on complex tasks, they can be very sensitive: Small perturbations of inputs can be sufficient to induce incorrect behavior. Such perturbations, called adversarial examples, are intentionally designed to test the network's sensitivity to distribution drifts. Given their surprisingly small size, a wide body of literature conjectures on their existence and how this phenomenon can be mitigated. In this article we discuss the impact of adversarial examples on security, safety, and robustness of neural networks. We start by introducing the hypotheses behind their existence, the methods used to construct or protect against them, and the capacity to transfer adversarial examples between different machine learning models. Altogether, the goal is to provide a comprehensive and self-contained survey of this growing field of research.

研究动机与目标

• 提供一份自包含的、全面的关于目标识别中对抗样本的综述，涵盖其起源、机制及其影响。
• 分析对抗样本在安全关键型机器学习应用中引发的安全与鲁棒性问题。
• 研究对抗样本在不同机器学习模型与架构之间的可迁移性。
• 评估现有防御策略，并识别在鲁棒性保证方面，尤其是认证防御方面的差距。
• 通过识别开放性问题，包括理论基础与可扩展的鲁棒训练方法，为未来研究提供指导。

提出的方法

• 系统性地对对抗样本生成方法进行分类，包括白盒攻击、黑盒攻击和基于查询的攻击。
• 根据其底层机制，将防御技术分为对抗训练、输入预处理和认证防御三类。
• 通过评估为某一模型生成的对抗样本如何欺骗其他模型，分析可迁移性，即使这些模型架构不同。
• 回顾关于对抗样本存在性的理论假说，包括高维几何与决策边界敏感性。
• 评估现有防御的局限性，包括其对自适应攻击的脆弱性以及缺乏形式化鲁棒性保证。
• 提出威胁模型与操作场景的分类体系，以在实际部署中明确安全与安全影响的语境。

实验结果

研究问题

• RQ1 深度神经网络中对抗样本的潜在成因是什么，特别是在目标识别任务中？
• RQ2 对抗样本在不同机器学习模型之间如何实现可迁移性，这对模型安全性意味着什么？
• RQ3 现有防御方法在多大程度上能提供对对抗攻击的鲁棒性，其局限性是什么？
• RQ4 在开发既可扩展又有效的大型模型认证防御方面，面临哪些关键挑战？
• RQ5 在安全关键型应用中，如何有意义地衡量与验证对抗鲁棒性？

主要发现

• 对抗样本在不同模型之间具有高度可迁移性，表明深度神经网络存在普遍性的漏洞，与架构无关。
• 尽管研究广泛，所有已知防御措施——包括形式化验证的防御——均已被自适应攻击攻破，凸显了当前解决方案的脆弱性。
• 认证防御提供了精确的鲁棒性边界，但目前受限于高计算成本与可扩展性问题。
• 当前理论尚不能完全解释对抗样本现象，尚无关于其存在的普遍接受假说。
• 对抗样本揭示了深度学习模型在高维空间中运行，微小扰动可产生巨大影响，这与人类感知不同。
• 当前机器学习模型缺乏理性、慢思考机制，使其易受对抗样本影响，而人类能够检测并纠正错觉。