[论文解读] Adversarial Security Attacks and Perturbations on Machine Learning and Deep Learning Methods

Arif Siddiqi|arXiv (Cornell University)|Jul 17, 2019

Adversarial Robustness in Machine Learning参考文献 47被引用 7

一句话总结

这篇综述论文全面概述了机器学习与深度学习模型中的对抗性安全攻击和扰动，重点关注训练和推理阶段的漏洞。它整合了现有的攻击类型、防御机制和研究趋势，为网络空间安全和人工智能领域的研究人员提供指导，强调实用见解和安全机器学习部署的基础知识。

ABSTRACT

The ever-growing big data and emerging artificial intelligence (AI) demand the use of machine learning (ML) and deep learning (DL) methods. Cybersecurity also benefits from ML and DL methods for various types of applications. These methods however are susceptible to security attacks. The adversaries can exploit the training and testing data of the learning models or can explore the workings of those models for launching advanced future attacks. The topic of adversarial security attacks and perturbations within the ML and DL domains is a recent exploration and a great interest is expressed by the security researchers and practitioners. The literature covers different adversarial security attacks and perturbations on ML and DL methods and those have their own presentation styles and merits. A need to review and consolidate knowledge that is comprehending of this increasingly focused and growing topic of research; however, is the current demand of the research communities. In this review paper, we specifically aim to target new researchers in the cybersecurity domain who may seek to acquire some basic knowledge on the machine learning and deep learning models and algorithms, as well as some of the relevant adversarial security attacks and perturbations.

研究动机与目标

• 为应对机器学习与深度学习系统中对抗性安全威胁日益增长的理解需求。
• 为网络空间安全领域的新人研究人员提供机器学习/深度学习模型及其相关对抗性风险的基础知识。
• 以结构化、易懂的方式对不同类型的对抗性攻击和扰动进行分类与分析。
• 突出当前在机器学习/深度学习应用中对抗性鲁棒性方面的研究空白与新兴趋势。
• 作为理解恶意扰动下机器学习模型攻击面的参考。

提出的方法

• 对2010年至2019年期间机器学习与深度学习模型中的对抗性攻击和扰动进行系统性文献综述。
• 根据威胁模型、攻击面和扰动类型（如白盒、黑盒、定向、非定向）对对抗性攻击进行分类。
• 根据生成方法和目标对扰动技术（如FGSM、PGD和对抗性贴纸攻击）进行分类。
• 分析防御策略，包括对抗性训练、输入预处理和鲁棒优化技术。
• 分析计算机视觉和自然语言处理等不同应用领域中攻击与防御趋势。
• 提出概念性框架，以理解模型架构、数据与对抗性脆弱性之间的关系。

实验结果

研究问题

• RQ1 针对机器学习与深度学习模型的主要对抗性攻击类型有哪些？
• RQ2 不同的对抗性扰动技术如何在训练和推理过程中利用模型漏洞？
• RQ3 在对抗性机器学习中，白盒、黑盒和灰盒攻击场景之间的关键区别是什么？
• RQ4 已提出的防御机制有哪些，它们对不断演变的攻击策略的有效性如何？
• RQ5 在防范对抗性威胁方面，机器学习/深度学习模型的安全性面临哪些开放性挑战和研究方向？

主要发现

• 对抗性攻击可通过极小的、难以察觉的输入数据扰动显著降低模型性能。
• 基于梯度的方法（如FGSM和PGD）由于其简单性和高成功率，是最有效且应用最广泛的攻击技术之一。
• 对抗性训练可提高鲁棒性，但通常以干净数据上的准确率下降和计算开销增加为代价。
• 尽管黑盒攻击的威力不如白盒变体，但当利用模型之间的可迁移性时，仍具有高度有效性。
• 该领域缺乏标准化的基准和评估协议，导致攻击与防御性能报告不一致。
• 迫切需要能够跨多种架构和数据分布有效运行的稳健、可泛化的防御方法。