[论文解读] Improved robustness to adversarial examples using Lipschitz regularization of the loss

Chris Finlay, Adam M. Oberman+1 more|arXiv (Cornell University)|Oct 1, 2018

Adversarial Robustness in Machine Learning参考文献 34被引用 23

一句话总结

本文提出 Worst Case Adversarial Training (WCAT)，一种通过正则化损失函数的Lipschitz常数来提升对抗鲁棒性的新方法。通过将对抗训练解释为总变差正则化，将WCAT解释为Lipschitz正则化，该方法在ℓ₂扰动下于CIFAR-10上相比最先进方法实现了11%更高的鲁棒性，同时基于梯度范数提供了可验证的鲁棒性保证。

ABSTRACT

We augment adversarial training (AT) with worst case adversarial training (WCAT) which improves adversarial robustness by 11% over the current state-of-the-art result in the $\ell_2$ norm on CIFAR-10. We obtain verifiable average case and worst case robustness guarantees, based on the expected and maximum values of the norm of the gradient of the loss. We interpret adversarial training as Total Variation Regularization, which is a fundamental tool in mathematical image processing, and WCAT as Lipschitz regularization.

研究动机与目标

• 在ℓ₂范数扰动下提升深度神经网络的对抗鲁棒性。
• 为平均情况和最坏情况鲁棒性提供可验证的保证。
• 将对抗训练形式化为总变差正则化，将WCAT形式化为Lipschitz正则化。
• 通过损失函数中的梯度范数控制，提升泛化性和鲁棒性。

提出的方法

• 通过优化损失函数的最坏情况梯度范数，引入 Worst Case Adversarial Training (WCAT)。
• 使用梯度的最大范数对损失函数进行正则化，以强制实现Lipschitz连续性。
• 在图像处理背景下，将对抗训练形式化为一种总变差正则化形式。
• 基于损失函数梯度范数的期望值和最大值，推导出可验证的鲁棒性保证。
• 在优化过程中，将最坏情况梯度范数用作对抗鲁棒性的代理指标。

实验结果

研究问题

• RQ1 损失函数的Lipschitz正则化是否能超越标准对抗训练，进一步提升对抗鲁棒性？
• RQ2 在ℓ₂扰动下，WCAT在CIFAR-10上的鲁棒准确率与最先进方法相比如何？
• RQ3 能否从损失函数的梯度范数中推导出可验证的鲁棒性保证？
• RQ4 对抗训练与总变差正则化之间存在何种理论联系？

主要发现

• 在ℓ₂范数扰动下，WCAT在CIFAR-10上相比最先进方法实现了11%更高的对抗鲁棒性。
• 该方法基于损失函数的梯度范数，为平均情况和最坏情况鲁棒性提供了可验证的保证。
• 对抗训练在图像处理框架中被正式解释为总变差正则化。
• WCAT被证明等价于损失函数的Lipschitz正则化，为鲁棒训练提供了新的理论视角。