[论文解读] Manifold Regularization for Adversarial Robustness

Charles Jin, Martin Rinard|arXiv (Cornell University)|Mar 9, 2020

Adversarial Robustness in Machine Learning参考文献 11被引用 7

一句话总结

该论文提出了一种流形正则化方法，通过在数据流形上强制实现局部稳定性来增强深度神经网络的对抗鲁棒性，且无需生成对抗样本。在 $ε = 8/255$ $ε_\infty$ 扰动下，该方法在 CIFAR-10 上实现了 70% 的最先进鲁棒准确率，且训练速度比标准对抗训练快几个数量级。

ABSTRACT

Manifold regularization is a technique that penalizes the complexity of learned functions over the intrinsic geometry of input data. We develop a connection to learning functions which are locally stable, and propose new regularization terms for training deep neural networks that are stable against a class of local perturbations. These regularizers enable us to train a network to state-of-the-art robust accuracy of 70% on CIFAR-10 against a PGD adversary using $\ell_\infty$ perturbations of size $\epsilon = 8/255$. Furthermore, our techniques do not rely on the construction of any adversarial examples, thus running orders of magnitude faster than standard algorithms for adversarial training.

研究动机与目标

• 在不依赖对抗样本生成的前提下，提升深度神经网络的对抗鲁棒性。
• 形式化建立流形正则化与学习函数局部稳定性之间的联系。
• 开发高效的正则化技术，以增强对局部扰动的鲁棒性。
• 在 $ε_\infty$ 扰动下，以最小的计算开销在 CIFAR-10 上实现最先进水平的鲁棒准确率。

提出的方法

• 引入新的正则化项，惩罚输入数据内在几何结构上的函数复杂度。
• 利用数据的流形结构，以在学习函数中强制实现局部稳定性。
• 设计正则化组件，隐式地考虑局部扰动，而无需显式对抗训练。
• 在标准反向传播过程中应用正则化项，避免生成昂贵的对抗样本。
• 利用数据流形定义平滑性先验，使其能很好地泛化到小范围局部扰动。
• 采用几何归纳偏置，以提升鲁棒性，同时保持较高的自然准确率。

实验结果

研究问题

• RQ1 流形正则化能否在不生成对抗样本的情况下有效提升对抗鲁棒性？
• RQ2 在数据流形上强制实现局部稳定性如何提升对 $ε_\infty$ 扰动的鲁棒性？
• RQ3 与标准对抗训练相比，该正则化方法在鲁棒准确率和训练速度方面的表现如何？
• RQ4 所提出的正则化项能否在不同数据分布和网络架构上泛化？
• RQ5 该方法如何在提升鲁棒性的同时保持较高的自然准确率？

主要发现

• 所提方法在 $ε = 8/255$ $ε_\infty$ 扰动下于 CIFAR-10 上实现了 70% 的鲁棒准确率，达到最先进水平。
• 使用所提正则化项的训练速度显著快于标准对抗训练，因其避免了对抗样本的生成。
• 该方法通过从数据流形中提取的几何先验，强制实现局部稳定性，从而提升鲁棒性。
• 该方法保持了较高的自然准确率，表明在鲁棒性与标准准确率之间实现了有利的权衡。
• 正则化项在无需任何显式对抗数据的情况下依然有效，显著降低了计算开销。