[论文解读] A Method for Computing Class-wise Universal Adversarial Perturbations

Tejus Gupta, Abhishek Sinha+3 more|arXiv (Cornell University)|Dec 1, 2019

Adversarial Robustness in Machine Learning参考文献 37被引用 5

一句话总结

本文提出了一种无需数据、闭式求解的方法，通过利用深度神经网络决策边界的线性结构，生成类别特定的通用对抗扰动。该方法将扰动表示为网络权重的线性函数，在无需迭代优化或超参数调优的情况下，对ImageNet模型实现了34%–51%的欺骗率，并展现出强大的跨架构迁移能力。

ABSTRACT

We present an algorithm for computing class-specific universal adversarial perturbations for deep neural networks. Such perturbations can induce misclassification in a large fraction of images of a specific class. Unlike previous methods that use iterative optimization for computing a universal perturbation, the proposed method employs a perturbation that is a linear function of weights of the neural network and hence can be computed much faster. The method does not require any training data and has no hyper-parameters. The attack obtains 34% to 51% fooling rate on state-of-the-art deep neural networks on ImageNet and transfers across models. We also study the characteristics of the decision boundaries learned by standard and adversarially trained models to understand the universal adversarial perturbations.

研究动机与目标

• 开发一种快速、与数据无关的方法，无需迭代优化即可生成类别特定的通用对抗扰动。
• 研究深度神经网络决策边界的线性特性，并利用该特性实现高效攻击生成。
• 评估所提出的扰动在不同模型和数据集上的迁移性和鲁棒性。
• 理解为何某些ImageNet类别在通用扰动下固有地更易受攻击，而其他类别则更难。

提出的方法

• 该方法将通用扰动计算为预训练神经网络最后一层全连接层权重的线性函数，实现闭式、非迭代的计算。
• 利用对应目标类别的权重矩阵的符号来生成扰动，确保计算成本最低。
• 该方法无需访问训练数据或任何超参数，因此具有高度效率，适用于黑盒场景。
• 扰动的推导基于决策边界在深度网络中近似线性的假设，尤其是在类别特定权重向量的方向上。
• 通过在多个数据集和模型上对目标类别干净图像的欺骗率来评估扰动的有效性。
• 利用余弦相似度和奇异值分解分析示例特定对抗扰动与通用扰动之间的对齐程度。

实验结果

研究问题

• RQ1 能否通过利用神经网络决策边界的线性特性，在无需迭代优化或训练数据的情况下生成通用对抗扰动？
• RQ2 所提出的基于线性权重的方法在欺骗率和迁移能力方面与现有基于迭代优化的方法相比如何？
• RQ3 标准模型和对抗训练模型的决策边界在多大程度上表现出线性行为？这种线性特性如何影响通用扰动的有效性？
• RQ4 为何某些ImageNet类别在通用扰动下表现出显著更高的或更低的欺骗率？这种脆弱性在不同模型间是否一致？
• RQ5 示例特定对抗扰动的方向与所提出的通用扰动方向在多大程度上对齐？这是否表明存在共享的脆弱方向？

主要发现

• 所提出的方法在最先进ImageNet模型上实现了34%至51%的欺骗率，且无需训练数据或超参数。
• 该攻击展现出强大的跨模型迁移能力，VGG-16与ResNet-18在所有ImageNet类别上的欺骗率平均差异仅为10.96%。
• 示例特定对抗扰动的方向与所提出的通用扰动方向具有高度余弦相似度，表明存在共享的脆弱方向。
• 在标准模型中，81对决策边界中有38对的决定系数（R²）≥ 0.9，支持决策边界总体上呈线性的假设。
• 对抗训练模型中所有成对边界的R²值接近零，表明对抗训练使线性特性失效。
• 部分ImageNet类别固有地更易受攻击——77个类别欺骗率低于20%，而37个类别高于80%，且这种差异在不同架构间保持一致。