[论文解读] Robustness of classifiers to universal perturbations: a geometric perspective

Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi+3 more|arXiv (Cornell University)|May 26, 2017

Topological and Geometric Data Analysis被引用 45

一句话总结

本文对深度神经网络在通用对抗扰动下的鲁棒性进行了几何分析，表明自然图像决策边界的共享正曲率使得小而与图像无关的扰动能够欺骗分类器。该研究提出了一种基于曲率的理论框架，解释了通用扰动的存在性、多样性及可迁移性，并提出了一种新颖的几何方法，通过输入空间中曲率方向的子空间分析来计算这些扰动。

ABSTRACT

Deep networks have recently been shown to be vulnerable to universal perturbations: there exist very small image-agnostic perturbations that cause most natural images to be misclassified by such classifiers. In this paper, we propose the first quantitative analysis of the robustness of classifiers to universal perturbations, and draw a formal link between the robustness to universal perturbations, and the geometry of the decision boundary. Specifically, we establish theoretical bounds on the robustness of classifiers under two decision boundary models (flat and curved models). We show in particular that the robustness of deep networks to universal perturbations is driven by a key property of their curvature: there exists shared directions along which the decision boundary of deep networks is systematically positively curved. Under such conditions, we prove the existence of small universal perturbations. Our analysis further provides a novel geometric method for computing universal perturbations, in addition to explaining their properties.

研究动机与目标

• 理解当前最先进的深度神经网络为何对通用扰动高度脆弱，即小而与图像无关的扰动可使大多数自然图像被错误分类。
• 形式化鲁棒性与决策边界几何特性（尤其是曲率）之间的关联。
• 基于曲率模型，建立一个解释通用扰动存在性、多样性和可迁移性的理论框架。
• 提出一种基于输入空间中共享正曲率方向的新型几何方法，用于计算通用扰动。

提出的方法

• 本文提出了两种决策边界模型：一种基于法向量相关性的局部平坦模型，另一种结合了二阶曲率信息的局部曲率模型。
• 在两种模型下推导了鲁棒性的理论边界，表明沿特定方向的共享正曲率会导致小的通用扰动存在。
• 该方法识别出由正曲率方向张成的子空间 $\mathcal{S}_c$，从该子空间中采样的随机向量可产生高度有效的通用扰动。
• 通过不同网络子空间之间的主角来解释扰动在不同模型间的可迁移性。
• 通过实证验证表明，$\mathcal{S}_c$ 中的随机扰动在仅使用100张训练图像的情况下，即可在CIFAR-10上实现接近85%的欺骗率，与需要2,000张图像的最先进方法性能相当。
• 该方法基于分类器输出的Hessian矩阵的几何分析，将曲率与鲁棒性联系起来。

实验结果

研究问题

• RQ1 深度神经网络决策边界的何种几何特性导致其对通用扰动高度脆弱？
• RQ2 决策边界中的曲率如何解释小而通用且可迁移的扰动的存在？
• RQ3 基于曲率的几何框架能否提供一种计算通用扰动的新方法？
• RQ4 为何通用扰动具有多样性且可在不同模型间迁移？
• RQ5 共享曲率方向在多大程度上解释了深度网络的鲁棒性失效？

主要发现

• 存在一个共享子空间 $\mathcal{S}_c$，在该子空间中决策边界呈现正曲率，这是小的通用扰动存在的充要条件。
• 从 $\mathcal{S}_c$ 中采样的随机扰动在仅使用100张训练图像的情况下，即可在CIFAR-10上实现接近85%的欺骗率，与需要2,000张图像的最先进方法性能相当。
• 通用扰动的多样性由从 $\mathcal{S}_c$ 中采样的随机向量之间的内积极低（<0.1）来解释，表明它们几乎正交。
• 不同网络（LeNet 与 NiN）的 $\mathcal{S}_c$ 子空间之间的主角非常小，解释了通用扰动在模型间的可迁移性。
• 基于曲率的模型解释了深度网络对通用扰动的脆弱性，与基于线性或平坦性的先前假设相矛盾。
• 该理论框架提供了一种有效且可解释的新几何方法来计算通用扰动，且无需迭代优化。