[论文解读] Adversarial Machine Learning in Image Classification: A Survey Towards the Defender's Perspective

Gabriel Resende Machado, Eugênio Silva+1 more|arXiv (Cornell University)|Sep 8, 2020

Adversarial Robustness in Machine Learning参考文献 197被引用 18

一句话总结

本综述从防御者视角出发，对图像分类中的对抗性机器学习进行了全面、聚焦的回顾，提出了攻击与防御的新型分类体系，对防御措施进行了评估并提供实用指南，同时指出了混合防御架构等有前景的未来研究方向。该综述强调了对自适应攻击的鲁棒性，并对最先进的防御方法及其局限性提供了自洽的概述。

ABSTRACT

Deep Learning algorithms have achieved the state-of-the-art performance for Image Classification and have been used even in security-critical applications, such as biometric recognition systems and self-driving cars. However, recent works have shown those algorithms, which can even surpass the human capabilities, are vulnerable to adversarial examples. In Computer Vision, adversarial examples are images containing subtle perturbations generated by malicious optimization algorithms in order to fool classifiers. As an attempt to mitigate these vulnerabilities, numerous countermeasures have been constantly proposed in literature. Nevertheless, devising an efficient defense mechanism has proven to be a difficult task, since many approaches have already shown to be ineffective to adaptive attackers. Thus, this self-containing paper aims to provide all readerships with a review of the latest research progress on Adversarial Machine Learning in Image Classification, however with a defender's perspective. Here, novel taxonomies for categorizing adversarial attacks and defenses are introduced and discussions about the existence of adversarial examples are provided. Further, in contrast to exisiting surveys, it is also given relevant guidance that should be taken into consideration by researchers when devising and evaluating defenses. Finally, based on the reviewed literature, it is discussed some promising paths for future research.

研究动机与目标

• 从防御者视角出发，对图像分类中的对抗性机器学习提供全面且自洽的综述。
• 提出新型分类体系，用于对对抗性攻击和防御机制进行分类，更新现有分类以包含近期方法。
• 评估并讨论现有防御方法的有效性，突出其在自适应攻击下的脆弱性。
• 为研究人员设计和评估防御机制提供实用指南，包括鲁棒性评估政策。
• 识别并讨论有前景的未来研究方向，例如结合多种对策的混合防御架构。

提出的方法

• 本文对2020年及之前发表的图像分类中对抗性攻击与防御的研究进行了系统性文献回顾。
• 基于威胁模型、优化方法和扰动类型，提出了一种新型对抗性攻击分类体系，以增强对攻击策略的分类能力。
• 提出了一种新型防御分类体系，按机制（如对抗训练、输入预处理、模型分析）和鲁棒性等级对防御进行分类。
• 分析并讨论了对抗性样本存在性与可迁移性的成因，包括高维几何结构和模型线性特性。
• 采用鲁棒性对抗自适应攻击、泛化能力及计算成本等标准，对防御方法进行评估。
• 提出混合防御架构，结合反应式检测、预处理和主动分类模块，从防御库中随机选取组件以增强鲁棒性。

实验结果

研究问题

• RQ1 对抗性攻击在图像分类中的关键特征与分类体系是什么？自Szegedy等人开创性工作以来，这些特征与分类体系如何演变？
• RQ2 如何系统性地对防御方法进行分类与评估，以确保其对自适应对手的鲁棒性？
• RQ3 深度神经网络中对抗性样本的存在性与可迁移性的根本原因是什么？
• RQ4 研究人员在设计和评估新型防御机制时，应遵循哪些实用指南？
• RQ5 在应对对抗性威胁的背景下，构建鲁棒深度学习模型的最有前景的未来研究方向是什么？

主要发现

• 本文指出，尽管许多提出的防御方法初期看似有效，但在面对自适应攻击时仍显脆弱，凸显了鲁棒性问题的持续挑战。
• 研究证明，对抗性样本的产生源于高维模型的敏感性以及决策边界的线性行为，即使在最先进的模型中亦存在此现象。
• 综述揭示，对抗性样本的可迁移性是一种广泛存在的现象，即在某一模型上训练的攻击往往能成功作用于其他模型，即使其架构不同。
• 作者发现，当前的评估实践往往缺乏严谨性，许多防御方法在强自适应攻击设置下表现不佳，凸显了建立标准化基准的必要性。
• 所提出的混合防御架构——结合反应式检测、预处理和主动分类模块——代表了一条新颖且未被探索的路径，具有提升鲁棒性的潜力。
• 本文结论认为，目前尚无完全有效的防御方案，未来工作必须聚焦于自适应、模块化和可解释的防御机制，以保障实际应用的安全。