[论文解读] Feature Purification: How Adversarial Training Performs Robust Deep Learning

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|May 20, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文引入了特征净化的概念，用以解释对抗训练如何提升深度神经网络的鲁棒性。研究表明，对抗训练通过消除隐藏层权重中的微小密集混合成分（即导致对抗脆弱性的根源），实现特征净化，从而在仅使用基于FGSM的简单对抗训练的情况下，实现对特定半径扰动的可证明鲁棒性。

ABSTRACT

Despite the empirical success of using Adversarial Training to defend deep learning models against adversarial perturbations, so far, it still remains rather unclear what the principles are behind the existence of adversarial perturbations, and what adversarial training does to the neural network to remove them. In this paper, we present a principle that we call Feature Purification, where we show one of the causes of the existence of adversarial examples is the accumulation of certain small dense mixtures in the hidden weights during the training process of a neural network; and more importantly, one of the goals of adversarial training is to remove such mixtures to purify hidden weights. We present both experiments on the CIFAR-10 dataset to illustrate this principle, and a theoretical result proving that for certain natural classification tasks, training a two-layer neural network with ReLU activation using randomly initialized gradient descent indeed satisfies this principle. Technically, we give, to the best of our knowledge, the first result proving that the following two can hold simultaneously for training a neural network with ReLU activation. (1) Training over the original data is indeed non-robust to small adversarial perturbations of some radius. (2) Adversarial training, even with an empirical perturbation algorithm such as FGM, can in fact be provably robust against ANY perturbations of the same radius. Finally, we also prove a complexity lower bound, showing that low complexity models such as linear classifiers, low-degree polynomials, or even the neural tangent kernel for this network, CANNOT defend against perturbations of this same radius, no matter what algorithms are used to train them.

研究动机与目标

• 理解为何在干净数据上训练的深度神经网络中会出现对抗样本。
• 解释对抗训练如何从根本上改变网络的学到特征以实现鲁棒性。
• 识别标准训练过程中神经网络权重中非鲁棒性的结构成因。
• 证明对抗训练可在低复杂度模型（如线性分类器、神经正切核）无法实现鲁棒性的场景下实现鲁棒性。
• 为在自然数据分布下两层ReLU网络的对抗鲁棒性建立理论基础。

提出的方法

• 提出“特征净化”作为对抗训练通过消除导致对抗脆弱性的隐藏层权重中微小密集混合成分的机制。
• 采用对具有非高斯、自然输入分布的两层ReLU网络进行结构化分析，以建模特征学习过程。
• 应用具有有界差值和方差的鞅集中不等式，以限制权重扰动下网络输出的偏离程度。
• 通过将网络输出递归分解为对权重层的条件期望，分析其稳定性。
• 推导出一个理论边界，表明即使在干净训练失败的情况下，对抗训练也能实现对半径为r的扰动的鲁棒性。
• 证明一个复杂度下限，表明线性模型、低次多项式以及神经正切核模型均无法防御相同半径的扰动。

实验结果

研究问题

• RQ1 ReLU网络隐藏层权重的何种结构特性会导致标准训练下的对抗脆弱性？
• RQ2 对抗训练如何改变网络的内部表征以实现鲁棒性？
• RQ3 即使使用简单的FGSM对抗样本，对抗训练能否可证明地防御特定半径的对抗扰动？
• RQ4 为何对抗样本会在独立训练的模型之间迁移，这是否源于共享的特征结构？
• RQ5 是否存在鲁棒性的基本复杂度限制，使得低复杂度模型无法在某些扰动半径下实现鲁棒性？

主要发现

• 在两层ReLU网络的理论设定下，即使使用简单的FGSM算法，对抗训练也能可证明地防御半径为r的扰动。
• 在梯度下降下对两层ReLU网络进行干净训练，由于隐藏权重中微小密集混合成分的累积，可证明地对半径为r的小型对抗扰动不鲁棒。
• 理论分析表明，特征净化（即此类混合成分的消除）是对抗训练实现鲁棒性的核心机制。
• 复杂度下限证明表明，无论使用何种训练算法，线性分类器、低次多项式或神经正切核模型都无法防御半径为r的扰动。
• 该方法建立了隐藏权重结构与对抗鲁棒性之间的可证明联系，为理解鲁棒深度学习提供了新的理论视角。
• 在CIFAR-10上的实验验证了特征净化原理，表明对抗训练减少了有害的权重混合成分。