[论文解读] Distorting Neural Representations to Generate Highly Transferable Adversarial Examples.

Muzammal Naseer, Salman Khan+2 more|arXiv (Cornell University)|Nov 22, 2018

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出了一种新颖的方法，通过扭曲深度神经网络的特征而非优化特定任务的损失函数，生成高度可迁移的对抗性样本。通过在特征空间中最大化扰动，该方法在多种架构和任务（包括分类、目标检测和分割）中实现了强大的迁移能力。

ABSTRACT

neural networks (DNN) can be easily fooled by adding human imperceptible perturbations to the images. These perturbed images are known as the `adversarial examples' that pose a serious threat to security and safety critical systems. A litmus test for the strength of adversarial examples is their transferability across different DNN models in a black box setting (i.i. when target model's architecture and parameters are not known to attacker). Current attack algorithms that seek to enhance adversarial transferability work on the decision level i.e. generate perturbations that alter the network decisions. This leads to two key limitations: (a) An attack is dependent on the task-specific loss function (e.g. softmax cross-entropy for object recognition) and therefore does not generalize beyond its original task. (b) The adversarial examples are specific to the network architecture and demonstrate poor transferability to other network architectures. We propose a novel approach to create adversarial examples that can broadly fool different networks on multiple tasks. Our approach is based on the following intuition: Deep features are highly generalizable and show excellent performance across different tasks, therefore an ideal attack must create maximum distortions in the feature space to realize highly transferable examples. Specifically, for an input image, we calculate perturbations that push its feature representations furthest away from the original image features. We report extensive experiments to show how adversarial examples generalize across multiple networks across classification, object detection and segmentation tasks.

研究动机与目标

• 解决现有对抗性攻击方法依赖于特定任务损失函数而导致迁移能力有限的问题。
• 克服对抗性样本对特定网络架构和损失函数的依赖性。
• 开发一种适用于不同深度学习模型和任务的通用攻击策略。
• 通过聚焦于特征空间中的畸变而非决策边界，提升对抗性迁移能力。

提出的方法

• 该方法计算扰动，以最大化原始图像在深层特征空间中的特征表示与扰动后图像特征之间的距离。
• 攻击不针对分类损失进行优化，而是直接操纵网络的内部特征激活。
• 该方法采用特征空间优化目标，以确保扰动在表示空间中引发最大畸变。
• 攻击以端到端方式应用，生成对架构和任务变化具有鲁棒性的对抗性样本。
• 该方法在多个模型和任务上进行了评估，包括图像分类、目标检测和语义分割。
• 该方法不依赖目标模型的架构或参数，从而实现有效的黑盒攻击。

实验结果

研究问题

• RQ1 通过聚焦于特征空间畸变，能否提高对抗性样本在不同深度神经网络架构之间的迁移能力？
• RQ2 针对特征空间扰动进行优化，是否比针对决策层损失函数进行优化能带来更好的迁移能力？
• RQ3 单个对抗性样本在多大程度上能够欺骗训练于不同任务（如分类、检测和分割）的模型？
• RQ4 与现有攻击方法相比，该方法在模型和任务之间的迁移能力方面表现如何？

主要发现

• 与现有攻击方法相比，所提出方法在多种深度神经网络架构之间实现了显著更高的迁移能力。
• 通过特征空间畸变生成的对抗性样本，在欺骗未见过的架构模型方面优于决策层攻击。
• 该方法在多个任务中表现出强大的迁移能力，包括图像分类、目标检测和语义分割。
• 即使在目标模型架构和参数未知的黑盒设置下，该攻击依然有效。
• 该方法在原始任务之外也表现出良好的泛化能力，表明特征空间畸变是更具普适性的对抗脆弱性来源。
• 该方法在多个基准模型和数据集上取得了高成功率，证实了其广泛的适用性。