[论文解读] A reading survey on adversarial machine learning: Adversarial attacks and their understanding

Shashank Kotyan|arXiv (Cornell University)|Aug 7, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本综述从多个视角对深度学习中的对抗性攻击进行了全面分类，分析了其作用机制、脆弱性及局限性。综述回顾了现有防御方法，指出了诸如鲁棒性不足和理论理解匮乏等关键挑战，并提出了未来研究方向，包括自适应攻击、黑箱分析以及主动防御框架。

ABSTRACT

Deep Learning has empowered us to train neural networks for complex data with high performance. However, with the growing research, several vulnerabilities in neural networks have been exposed. A particular branch of research, Adversarial Machine Learning, exploits and understands some of the vulnerabilities that cause the neural networks to misclassify for near original input. A class of algorithms called adversarial attacks is proposed to make the neural networks misclassify for various tasks in different domains. With the extensive and growing research in adversarial attacks, it is crucial to understand the classification of adversarial attacks. This will help us understand the vulnerabilities in a systematic order and help us to mitigate the effects of adversarial attacks. This article provides a survey of existing adversarial attacks and their understanding based on different perspectives. We also provide a brief overview of existing adversarial defences and their limitations in mitigating the effect of adversarial attacks. Further, we conclude with a discussion on the future research directions in the field of adversarial machine learning.

研究动机与目标

• 基于攻击类型、威胁模型和优化方法等不同视角，对对抗性攻击进行系统性分类。
• 分析当前对抗性防御方法的局限性，特别是其在不同攻击类型和模型架构之间缺乏一致性和泛化能力。
• 识别对抗性机器学习中的关键挑战，包括学习特征的脆弱性以及优化问题的理论不可解性。
• 提出未来研究方向，如自适应攻击、黑箱评估和主动防御机制。
• 为研究人员提供对抗性漏洞及其对现实世界人工智能安全与可靠性影响的结构化理解。

提出的方法

• 对2013年至2020年间发表的对抗性攻击与防御相关文献进行系统性文献综述。
• 根据逃避攻击与投毒攻击、白盒与黑盒攻击、目标攻击与非目标攻击等维度对对抗性攻击进行分类。
• 分析用于生成对抗性样本的优化技术，包括基于梯度的方法（如FGSM和PGD）。
• 回顾现有防御机制，包括对抗性训练、输入变换和梯度掩蔽，并评估其局限性。
• 利用先前研究的实证证据，突出当前模型的脆弱性以及缺乏可泛化的鲁棒性。
• 基于该领域在理论、实证和架构层面的不足，整合形成未来研究方向。

Figure 1: Timeline of adversarial attacks and samples in adversarial machine learning, compared to work on the security of deep networks [ 10 ] .

实验结果

研究问题

• RQ1 如何在不同威胁模型和攻击目标下对对抗性攻击进行系统性分类？
• RQ2 为何当前的对抗性防御方法无法在多种攻击类型和模型架构间实现泛化？
• RQ3 深度神经网络在面对微小输入扰动时表现出脆弱性的根本原因是什么？
• RQ4 对抗性样本如何揭示神经网络在特征学习与推理过程中的局限性？
• RQ5 在开发针对对抗性攻击的鲁棒、自适应且理论基础扎实的防御措施方面，存在哪些关键开放挑战？

主要发现

• 对抗性攻击利用深度神经网络的非鲁棒性，常通过难以察觉的扰动导致误分类。
• 当前防御方法多为被动响应型，在更强的自适应攻击下失效，且许多防御依赖梯度掩蔽而非真正的鲁棒性。
• 理论分析表明，对抗性样本是非凸、非线性优化问题的解，使其难以分析和防御。
• 对抗性样本常导致模型关注无关的、非语义的特征，表明人类与模型推理之间存在错位。
• 黑箱攻击日益有效，且现有模型常缺乏可审计性，限制了其在现实部署中的可信度与安全性。
• 亟需主动防御框架和能够构建更稳健、更少脆弱特征的学习技术，以提升模型鲁棒性。

Figure 2: Visualisation of formal definition for Neural Network