[论文解读] Universal adversarial perturbations

Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi+2 more|arXiv (Cornell University)|Oct 26, 2016

Adversarial Robustness in Machine Learning参考文献 19被引用 90

一句话总结

本文提出通用对抗扰动——一种微小、与图像无关的扰动，可在几乎所有自然图像上欺骗最先进的深度神经网络。作者提出一种迭代算法来生成此类扰动，证明其在图像和网络架构之间均具有良好的泛化能力，揭示了深度神经网络决策边界中强烈的几何相关性。

ABSTRACT

Given a state-of-the-art deep neural network classifier, we show the existence of a universal (image-agnostic) and very small perturbation vector that causes natural images to be misclassified with high probability. We propose a systematic algorithm for computing universal perturbations, and show that state-of-the-art deep neural networks are highly vulnerable to such perturbations, albeit being quasi-imperceptible to the human eye. We further empirically analyze these universal perturbations and show, in particular, that they generalize very well across neural networks. The surprising existence of universal perturbations reveals important geometric correlations among the high-dimensional decision boundary of classifiers. It further outlines potential security breaches with the existence of single directions in the input space that adversaries can possibly exploit to break a classifier on most natural images.

研究动机与目标

• 调查是否存在一种微小的、通用的扰动，可使用单一固定的扰动向量使大量自然图像被错误分类。
• 开发一种高效算法，用于计算此类通用扰动，而无需对每张图像进行优化。
• 分析通用扰动在不同深度神经网络架构之间的泛化特性。
• 揭示深度神经网络决策边界中解释通用扰动存在性与鲁棒性的几何相关性。

提出的方法

• 提出一种迭代算法，聚合每个原子扰动向量，每个向量均设计为将特定数据点推向分类器的决策边界。
• 采用基于梯度的方法计算单个图像的局部对抗扰动，并通过迭代优化将其组合为通用扰动。
• 对决策边界法向量的归一化矩阵应用奇异值分解（SVD），识别出捕捉数据点间几何相关性的低维子空间。
• 通过在决策边界法向量的主要子空间内选择一个方向来构建通用扰动，以最大化在未见图像上的欺骗率。
• 在ImageNet训练的模型上验证该方法，使用训练图像子集计算扰动，并在独立测试集上评估泛化性能。
• 将低维子空间内的随机方向与优化后的通用扰动进行性能比较，以证明其在欺骗率上的优越性。

实验结果

研究问题

• RQ1 能否构建一个单一的、微小的扰动向量，使其在绝大多数自然图像上导致深度神经网络错误分类？
• RQ2 所提出的算法如何在无需每图像优化的情况下高效计算此类通用扰动？
• RQ3 通用扰动在不同深度神经网络架构之间的泛化程度如何？
• RQ4 决策边界的哪些几何特性解释了通用扰动的存在性与鲁棒性？
• RQ5 在输入空间中是否存在一个低维子空间，能捕捉到多样自然图像上决策边界法向量的特性？

主要发现

• 存在通用扰动，可在极高概率下使最先进的深度神经网络错误分类，即使扰动极小且人眼难以察觉。
• 所提出的迭代算法成功计算出通用扰动，在保留的测试集上实现了约38%的欺骗率。
• 通用扰动在不同神经网络架构之间表现出极强的泛化能力，使其成为双重通用——既与图像无关，也与网络架构无关。
• 对决策边界法向量进行奇异值分析揭示了一个低维子空间（d' ≪ d），该子空间捕捉了大部分几何相关性，解释了通用扰动的存在性。
• 在所识别的低维子空间内进行随机扰动可使近38%的测试图像被欺骗，显著优于仅实现10%欺骗率的随机扰动。
• 此类扰动的存在揭示了深度神经网络因决策边界中强烈的几何相关性而存在根本性漏洞。