[论文解读] High Dimensional Spaces, Deep Learning and Adversarial Examples

Simant Dube|arXiv (Cornell University)|Jan 2, 2018

Adversarial Robustness in Machine Learning参考文献 17被引用 23

一句话总结

本文对高维空间中的深度学习进行了严格的数学分析，表明对抗性样本源于图像流形的几何特性，而非模型缺陷。它纠正了先前工作中的一项错误论证，证明了L₂对抗性扰动随分辨率n以O(1/√n)的速率缩小，并提出了一种基于部件-整体流形学习的框架，通过建模语义结构和低维流形来消除对抗性样本。

ABSTRACT

In this paper, we analyze deep learning from a mathematical point of view and derive several novel results. The results are based on intriguing mathematical properties of high dimensional spaces. We first look at perturbation based adversarial examples and show how they can be understood using topological and geometrical arguments in high dimensions. We point out mistake in an argument presented in prior published literature, and we present a more rigorous, general and correct mathematical result to explain adversarial examples in terms of topology of image manifolds. Second, we look at optimization landscapes of deep neural networks and examine the number of saddle points relative to that of local minima. Third, we show how multiresolution nature of images explains perturbation based adversarial examples in form of a stronger result. Our results state that expectation of $L_2$-norm of adversarial perturbations is $O\left(\frac{1}{\sqrt{n}} ight)$ and therefore shrinks to 0 as image resolution $n$ becomes arbitrarily large. Finally, by incorporating the parts-whole manifold learning hypothesis for natural images, we investigate the working of deep neural networks and root causes of adversarial examples and discuss how future improvements can be made and how adversarial examples can be eliminated.

研究动机与目标

• 通过高维几何与拓扑学提供对抗性样本的数学严谨解释，纠正文献中先前存在的错误论证。
• 分析深度神经网络的优化景观，特别是高维空间中鞍点与局部极小值的比例。
• 利用多分辨率图像结构解释为何基于扰动的对抗性样本在高分辨率图像中本质上是微小的。
• 提出一种基于部件-整体流形学习的假设，作为未来深度学习模型的基础，通过建模语义结构和低维流形来消除对抗性样本。
• 通过整合姿态感知的、低维的图像组件表示，将生成式与判别式学习相结合，为未来深度学习的改进提供指导。

提出的方法

• 在高维空间中运用拓扑与几何论证，分析对抗性样本，重点关注图像流形及其边界的结构。
• 推导出一个一般性数学结果，表明对抗性扰动的期望L₂-范数随图像分辨率n以O(1/√n)的速率缩放，利用多分辨率图像特性。
• 识别并纠正Goodfellow等人（2015年）论证中的逻辑缺陷：即认为增加维度可实现小L∞-范数扰动；表明目标值与向量范数并非与维度无关。
• 提出一种分层的、低维的流形学习框架，其中每一层通过姿态参数建模部件与整体，结合生成式与判别式目标。
• 引入一种混合训练方法——显式使用真实姿态标签或通过类胶囊注意力机制隐式学习——使网络能够在无需完全监督的情况下学习语义结构。
• 结合判别损失、生成损失以及姿态参数的回归损失，训练能够跨流形映射点并保持语义意义的神经元。

实验结果

研究问题

• RQ1 为何对抗性样本存在于深度神经网络中？其存在能否通过高维几何而非模型特异性行为加以解释？
• RQ2 Goodfellow等人（2015年）广泛引用的论点中存在何种缺陷，即认为增加维度可实现小L∞-范数对抗性扰动？
• RQ3 L₂-范数对抗性扰动的期望幅值如何随图像分辨率n变化？这对对抗鲁棒性有何含义？
• RQ4 自然图像的多分辨率结构在使对抗性扰动成为可能或施加限制方面起到何种作用？
• RQ5 基于部件-整体流形学习的深度学习架构能否通过建模语义结构和低维流形来消除对抗性样本？

主要发现

• 本文识别出Goodfellow等人（2015年）论证中的根本性缺陷：即假设目标激活值在维度增加时保持不变，该假设无效，因为向量范数与距离随维度变化而改变。
• 证明了对抗性扰动的期望L₂-范数以O(1/√n)的速率缩放，意味着随着图像分辨率n的增加，该值趋近于零，因此在高分辨率下对抗性样本变得越来越罕见。
• 在高维空间中，流形上几乎所有点都靠近其表面，因此对抗性样本并非异常，而是表面复杂性与高余维性的自然结果。
• 深度网络的优化景观中，鞍点数量远超局部极小值，尤其在更高维度带中，支持了局部极小值并非主要障碍的论点。
• 一种基于部件-整体流形学习的框架——其中姿态参数可显式或隐式学习——能够建模语义结构，并通过在每一层保持低维性来降低模型复杂度。
• 未来集成姿态与场景参数生成建模及判别分类的深度网络，可通过学习语义上合理的低维流形，彻底消除对抗性样本。