[论文解读] Adversarial Manipulation of Deep Representations

Sara Sabour, Yanshuai Cao+2 more|arXiv (Cornell University)|Nov 16, 2015

Adversarial Robustness in Machine Learning参考文献 13被引用 67

一句话总结

本文提出了「特征对抗样本」——一种与源图像在感知上相似，但深层神经网络（DNN）表征几乎与另一张目标引导图像完全相同的对抗样本。通过在中间DNN层最小化表征距离的同时，约束感知失真，利用基于梯度的优化方法，生成具有自然内部特征的对抗样本，揭示了DNN表征中超越误分类的根本性漏洞。

ABSTRACT

We show that the representation of an image in a deep neural network (DNN) can be manipulated to mimic those of other natural images, with only minor, imperceptible perturbations to the original image. Previous methods for generating adversarial images focused on image perturbations designed to produce erroneous class labels, while we concentrate on the internal layers of DNN representations. In this way our new class of adversarial images differs qualitatively from others. While the adversary is perceptually similar to one image, its internal representation appears remarkably similar to a different image, one from a different class, bearing little if any apparent similarity to the input; they appear generic and consistent with the space of natural images. This phenomenon raises questions about DNN representations, as well as the properties of natural images themselves.

研究动机与目标

• 探究是否能够操纵深度神经网络（DNN）表征，使其模仿另一张自然图像的表征，同时保持与原始图像的感知相似性。
• 探究此类对抗样本是否具有通用性，并在多个DNN层中与自然图像表征难以区分。
• 确定该现象是否源于网络架构、训练数据，或模型固有属性。
• 将此类新型对抗样本与以往仅关注误分类的研究进行对比。
• 评估模型线性与泛化能力在实现此类表征级操纵中的作用。

提出的方法

• 将对抗样本生成建模为约束优化问题：最小化扰动图像在选定层的DNN表征与引导图像表征之间的L2距离。
• 对像素级扰动施加L∞范数约束（‖I − Is‖∞ < δ），以确保对人类观察者不可察觉。
• 使用基于梯度的优化方法求解约束最小化问题，通过迭代更新图像，以减少与引导表征的距离。
• 引入线性近似基线（feature-linear），利用DNN层的雅可比矩阵测试表征偏移的线性假设。
• 在训练好的CaffeNet模型上评估该方法，并与随机初始化网络进行比较，以隔离架构影响。
• 分析对抗表征在特征空间中的稀疏性与密度，以评估其自然性与通用性。

实验结果

研究问题

• RQ1 是否能够操纵深度神经网络表征，使其匹配另一张自然图像的表征，同时保持与源图像的感知相似性？
• RQ2 在多个DNN层中，生成的对抗样本在内部DNN表征上是否与自然图像难以区分？
• RQ3 此类特征对抗样本的存在是否依赖于训练数据，还是其本质源于网络架构？
• RQ4 DNN表征的线性程度在多大程度上解释了此类对抗操纵的成功？
• RQ5 对抗表征在DNN特征空间中的分布与密度，与自然图像表征相比如何？

主要发现

• 所提方法成功生成了与源图像感知相似但DNN表征与引导图像在C2层及更深层的距离减少至50%或以下的对抗样本。
• 特征对抗样本在表征距离上显著优于线性近似基线（feature-linear），后者无法将距离降低至原始源-引导距离的80%以下。
• 即使在随机初始化网络（无训练）上，该方法仍能生成具有相似距离比的对抗样本，表明该现象根植于网络架构而非学习权重。
• 对抗表征并非异常点；它们位于DNN特征空间的高密度区域，表明其在表征空间中具有通用性与自然外观。
• 在所有层中，feature-opt方法均优于feature-linear，表明DNN中的非线性特性对实现强表征模仿至关重要。
• 在手写数字和在窄域数据集上微调的网络中观察到失败案例，表明该方法对输入域、网络深度和感受野大小具有敏感性。