[论文解读] Classification regions of deep neural networks

Alhussein Fawzi, Seyed-Mohsen Moosavi-Dezfooli+2 more|arXiv (Cornell University)|May 26, 2017

Adversarial Robustness in Machine Learning参考文献 17被引用 31

一句话总结

本文分析了深度神经网络在输入空间中决策边界的几何特性，揭示了分类区域是连通的，且决策边界在大多数方向上呈平坦特性，仅存在少数高度弯曲的方向。研究识别出曲率中存在根本性的不对称性——分类器在这些弯曲方向上对扰动最为脆弱——并提出一种基于该不对称性的几何检测方法，可准确识别甚至在不重新训练的情况下恢复小幅度对抗扰动的标签。

ABSTRACT

The goal of this paper is to analyze the geometric properties of deep neural network classifiers in the input space. We specifically study the topology of classification regions created by deep networks, as well as their associated decision boundary. Through a systematic empirical investigation, we show that state-of-the-art deep nets learn connected classification regions, and that the decision boundary in the vicinity of datapoints is flat along most directions. We further draw an essential connection between two seemingly unrelated properties of deep networks: their sensitivity to additive perturbations in the inputs, and the curvature of their decision boundary. The directions where the decision boundary is curved in fact remarkably characterize the directions to which the classifier is the most vulnerable. We finally leverage a fundamental asymmetry in the curvature of the decision boundary of deep nets, and propose a method to discriminate between original images, and images perturbed with small adversarial examples. We show the effectiveness of this purely geometric approach for detecting small adversarial perturbations in images, and for recovering the labels of perturbed images.

研究动机与目标

• 理解深度神经网络中分类区域与决策边界的几何结构，尽管其在模型行为中起着关键作用，但目前仍理解不足。
• 研究自然图像附近决策边界的曲率及其对模型鲁棒性与对抗脆弱性的影响。
• 探索是否可利用决策边界的几何特性，在不重新训练的情况下检测并恢复小幅度对抗扰动。
• 建立输入对扰动的敏感性与输入空间中决策边界曲率之间的联系。
• 开发一种完全基于几何、无需训练的检测与校正对抗样本的方法，其基础为曲率不对称性。

提出的方法

• 通过在输入空间中测试同标签数据点之间是否存在连续路径，实证分析分类区域的拓扑结构。
• 计算成对分类器差值函数 $ F(\boldsymbol{z}) = f_i(\boldsymbol{z}) - f_j(\boldsymbol{z}) $ 的海森矩阵，以估计输入点处不同方向上的曲率。
• 对海森矩阵进行主成分分析，识别主导曲率方向，并量化其在自然图像中的分布情况。
• 通过测量决策边界中正曲率的大小来检测对抗样本：正曲率越大，表示输入越可能被扰动。
• 应用基于阈值的检测算法（算法2），根据曲率不对称性将输入分类为原始或扰动样本，并通过具有最大正曲率的类别实现标签恢复。
• 通过在所有成对决策边界上平均曲率统计量，将该方法扩展至多分类设置。

实验结果

研究问题

• RQ1 深度神经网络学习到的分类区域在输入空间中是否具有拓扑连通性？
• RQ2 自然图像周围决策边界的曲率在不同方向上如何变化？是否存在跨不同数据点共享的弯曲方向？
• RQ3 决策边界的曲率是否存在根本性的不对称性，且该不对称性是否与对抗脆弱性相关？
• RQ4 是否可利用曲率的几何不对称性，在未使用扰动数据进行训练的情况下检测小幅度对抗扰动？
• RQ5 是否可仅通过决策边界的几何特性恢复被扰动图像的原始标签？

主要发现

• 实证结果表明，最先进深度网络的分类区域是连通的，即任意同类别两点之间均存在连续路径。
• 在自然图像附近的决策边界在大多数方向上呈平坦特性，仅少数方向表现出显著曲率。
• 决策边界的曲率中存在根本性不对称性：负曲率占主导地位，且最弯曲的方向在不同数据点间具有共享性。
• 对输入扰动的敏感性与曲率强相关：分类器在少数弯曲方向上最脆弱，而在平坦方向上则表现稳健。
• 所提出的基于曲率的检测方法在使用最优阈值时，对GoogLeNet的对抗样本检测准确率超过95%。
• 该方法在GoogLeNet上对被扰动图像的原始标签恢复准确率达92%，在CaffeNet上为88%，在VGG-19上为74%。