[论文解读] A Unified Gradient Regularization Family for Adversarial Examples

Chunchuan Lyu, Kaizhu Huang+1 more|arXiv (Cornell University)|Nov 19, 2015

Adversarial Robustness in Machine Learning参考文献 19被引用 23

一句话总结

本文提出了一类统一的梯度正则化方法，通过惩罚损失函数关于输入的梯度，增强模型对对抗样本的鲁棒性。通过将对抗鲁棒性建模为一个极小极大优化问题，并基于不同的p-范数推导出一系列正则化方法，该方法推广了快速梯度符号法（fast gradient sign method），在MNIST上（未使用数据增强）实现了最先进（SOTA）的准确率，在CIFAR-10上也取得了具有竞争力的结果。

ABSTRACT

Adversarial examples are augmented data points generated by imperceptible perturbation of input samples. They have recently drawn much attention with the machine learning and data mining community. Being difficult to distinguish from real examples, such adversarial examples could change the prediction of many of the best learning models including the state-of-the-art deep learning models. Recent attempts have been made to build robust models that take into account adversarial examples. However, these methods can either lead to performance drops or lack mathematical motivations. In this paper, we propose a unified framework to build robust machine learning models against adversarial examples. More specifically, using the unified framework, we develop a family of gradient regularization methods that effectively penalize the gradient of loss function w.r.t. inputs. Our proposed framework is appealing in that it offers a unified view to deal with adversarial examples. It incorporates another recently-proposed perturbation based approach as a special case. In addition, we present some visual effects that reveals semantic meaning in those perturbations, and thus support our regularization method and provide another explanation for generalizability of adversarial examples. By applying this technique to Maxout networks, we conduct a series of experiments and achieve encouraging results on two benchmark datasets. In particular,we attain the best accuracy on MNIST data (without data augmentation) and competitive performance on CIFAR-10 data.

研究动机与目标

• 解决现有对抗训练方法中数学动机不足以及性能下降的问题。
• 将多种基于梯度的正则化技术统一到一个连贯的对抗鲁棒性框架中。
• 提供一种理论基础坚实、可推广的方法，提升模型鲁棒性而不损失准确率。
• 通过可视化和几何分析，揭示为何对抗扰动能在不同模型间泛化。

提出的方法

• 提出一个统一的极小极大优化框架，使模型在p-范数球内的最坏情况输入扰动下仍保持鲁棒性。
• 通过求解一个约束优化问题，推导出一族基于梯度的正则化方法，该问题在p-范数约束下最大化输入梯度与扰动向量之间的内积。
• 使用拉格朗日乘子法解析求解最优扰动方向，得到一个涉及梯度p-范数的闭式表达式。
• 证明快速梯度符号法是该方法族在p = ∞时的特例。
• 将该正则化方法应用于Maxout网络，并使用推导出的梯度惩罚进行标准反向传播训练。
• 通过扰动的可视化验证该方法，揭示出语义结构，并支持扰动在不同模型间泛化的假设。

实验结果

研究问题

• RQ1 能否构建一个统一的数学框架，利用基于梯度的扰动对模型进行正则化以应对对抗样本？
• RQ2 所提出的正则化家族与现有方法（如快速梯度符号法）之间有何关系？
• RQ3 不同p-范数对对抗训练的鲁棒性和泛化能力有何影响？
• RQ4 为何对抗样本能在不同模型间泛化？能否通过扰动的几何或视觉分析加以解释？

主要发现

• 所提出的梯度正则化家族在p = ∞时退化为快速梯度符号法的特例。
• 该方法在MNIST上实现了未使用数据增强情况下的最佳报告准确率，优于先前方法。
• 在CIFAR-10上，该方法取得了具有竞争力的性能，展现出在不同数据集间的强泛化能力。
• 对抗扰动的可视化揭示出语义模式，支持了对抗样本利用高维特征空间中类似线性行为的假设。
• 理论分析证实，最优扰动方向与按p-范数缩放的梯度方向对齐，从而确保最坏情况下的鲁棒性。