[论文解读] Lipschitz regularized Deep Neural Networks generalize and are adversarially robust

Chris Finlay, Jeff Calder+2 more|arXiv (Cornell University)|Aug 28, 2018

Adversarial Robustness in Machine Learning参考文献 66被引用 25

一句话总结

本文提出在深度神经网络中引入Lipschitz正则化，以提升泛化能力和对抗鲁棒性。通过约束模型的Lipschitz常数，作者证明了与网络深度无关的泛化界，并通过实证结果表明，正则化模型对对抗攻击更具鲁棒性，且梯度范数可作为有效的攻击检测器。

ABSTRACT

In this work we study input gradient regularization of deep neural networks, and demonstrate that such regularization leads to generalization proofs and improved adversarial robustness. The proof of generalization does not overcome the curse of dimensionality, but it is independent of the number of layers in the networks. The adversarial robustness regularization combines adversarial training, which we show to be equivalent to Total Variation regularization, with Lipschitz regularization. We demonstrate empirically that the regularized models are more robust, and that gradient norms of images can be used for attack detection.

研究动机与目标

• 解决深度神经网络中缺乏泛化保证的问题，尤其是在高深度架构中。
• 通过开发与网络深度无关的方法，克服泛化界中的维度灾难问题。
• 在不牺牲测试准确率的前提下提升对抗鲁棒性，打破鲁棒性与准确率之间的常见权衡。
• 建立Lipschitz正则化与总变差正则化及对抗训练之间理论联系的框架。
• 利用损失函数的梯度范数实现对抗样本的检测。

提出的方法

• 引入一种改进的损失函数，其中包含Lipschitz正则化项，以控制模型对输入扰动的敏感度。
• 利用变分法和反问题理论证明泛化界，表明收敛速率与层数无关。
• 建立对抗训练与总变差正则化的等价性，将其与Lipschitz控制联系起来。
• 利用Bernstein不等式对划分输入域上的经验风险偏差进行上界估计，从而获得高概率的泛化保证。
• 利用损失函数的梯度范数作为对抗样本的检测信号，利用对抗输入产生更高梯度的事实。
• 在流形上应用黎曼几何技术，通过测地线球和指数映射将泛化界扩展至欧几里得空间之外。

实验结果

研究问题

• RQ1 Lipschitz正则化能否为深度神经网络提供与层数无关的泛化界？
• RQ2 Lipschitz正则化与对抗鲁棒性及总变差正则化之间有何关系？
• RQ3 损失函数的梯度范数能否作为对抗输入存在的可靠指标？
• RQ4 Lipschitz正则化是否允许在深度网络中对鲁棒性与准确率进行可控权衡？
• RQ5 能否为非参数设定下的Lipschitz正则化模型推导出理论收敛速率？

主要发现

• 本文证明，Lipschitz正则化的深度神经网络具有与层数无关的收敛速率，避免了先前工作中出现的指数依赖性。
• 实证结果表明，Lipschitz正则化提升了对抗鲁棒性，且模型在干净测试数据上保持了高准确率。
• 损失函数的梯度范数在对抗样本上显著高于在干净输入上，从而实现了有效的攻击检测。
• 作者证明了对抗训练等价于总变差正则化，为鲁棒性与平滑性之间的理论联系提供了依据。
• 通过Bernstein不等式和黎曼几何推导出泛化界，对经验风险与真实风险偏差提供了高概率保证。
• 正则化参数可调节，以控制Lipschitz常数与期望损失之间的权衡，从而在实际部署中实现期望的鲁棒性-准确率平衡。