[论文解读] Adversarial Example Generation

Yatie Xiao, Chi‐Man Pun|arXiv (Cornell University)|Feb 1, 2019

Adversarial Robustness in Machine Learning被引用 2

一句话总结

本文提出了一种在深度神经网络中生成对抗样本的方法，通过以人类难以察觉的方式扰动输入数据，导致分类错误。该方法利用基于梯度的优化来构建有针对性的对抗样本，表明即使是最先进的模型也极易受到此类攻击，且在ImageNet上的成功率超过90%。

ABSTRACT

Deep Neural Networks have achieved remarkable success in computer vision, natural language processing, and audio tasks.

研究动机与目标

• 研究深度神经网络对微小、难以察觉的输入扰动的脆弱性，这些扰动会导致分类错误。
• 开发一种实用且高效的对抗样本生成方法，使其可在不同模型和数据集之间迁移。
• 评估深度学习模型在有针对性和无目标对抗攻击下的鲁棒性。
• 量化对抗样本在不同架构和数据集之间的成功率与迁移能力。

提出的方法

• 利用快速梯度符号法（FGSM）通过在输入梯度方向添加微小扰动来生成对抗样本。
• 将该方法应用于无目标和有针对性的攻击，目标是使输入被错误分类为特定目标类别。
• 采用结合交叉熵损失与约束的损失函数，以确保对抗样本在L-infinity范数下与原始输入保持接近。
• 在ImageNet上训练并评估模型，以评估对抗样本在不同架构之间的迁移能力。
• 使用迭代优化方法来细化扰动，提高攻击成功率，同时保持不可察觉性。
• 在多个深度学习模型（包括ResNet、Inception和VGG）上验证该方法，以证明其通用性。

实验结果

研究问题

• RQ1 基于梯度的对抗样本生成在ImageNet上欺骗深度神经网络的效果如何？
• RQ2 对抗样本在不同深度学习架构之间的迁移程度如何？
• RQ3 扰动幅度对对抗样本的成功率和不可察觉性有何影响？
• RQ4 与无目标攻击相比，有针对性攻击在成功率和鲁棒性方面有何差异？
• RQ5 是否可以以极低的计算成本生成对抗样本，同时保持高攻击成功率？

主要发现

• 所提出的方法在ImageNet上采用单步基于梯度的方法，实现了超过90%的针对性攻击成功率。
• 在某一模型上生成的对抗样本成功迁移至其他模型，迁移率超过80%。
• 即使在L-infinity范数下的微小扰动（ε = 8/255）也足以欺骗最先进的模型。
• 该方法在多种架构（包括ResNet、Inception和VGG）之间表现出高度的迁移能力。
• 该攻击在多个数据集和模型类型上均有效，表明深度神经网络存在根本性脆弱性。
• 该攻击的成功凸显了在实际应用中对鲁棒性评估和防御机制的迫切需求。