[论文解读] Adversarial Robustness through Regularization: A Second-Order Approach.

Avery Ma, Fartash Faghri+1 more|arXiv (Cornell University)|Apr 4, 2020

Adversarial Robustness in Machine Learning被引用 5

一句话总结

该论文提出了一种二阶对抗正则化器（SOAR），通过使用二阶泰勒展开近似内层最大值对抗损失，提升深度神经网络的鲁棒性，为鲁棒优化提供上界。在CIFAR-10上，SOAR相较于标准对抗训练实现了更高的鲁棒准确率。

ABSTRACT

Adversarial training is a common approach to improving the robustness of deep neural networks against adversarial examples. In this work, we propose a novel regularization approach as an alternative. To derive the regularizer, we formulate the adversarial robustness problem under the robust optimization framework and approximate the loss function using a second-order Taylor series expansion. Our proposed second-order adversarial regularizer (SOAR) is an upper bound based on the Taylor approximation of the inner-max in the robust optimization objective. We empirically show that the proposed method improves the robustness of networks on the CIFAR-10 dataset.

研究动机与目标

• 解决深度神经网络对对抗样本的脆弱性问题。
• 开发一种基于正则化的传统对抗训练替代方法。
• 推导鲁棒优化目标的二阶近似，以改善泛化性能。
• 利用泰勒展开获得对抗损失的更紧上界。
• 在CIFAR-10等标准基准上实证验证鲁棒性的提升。

提出的方法

• 在鲁棒优化框架内构建对抗鲁棒性。
• 在输入数据点处使用二阶泰勒级数展开，近似内层最大值对抗损失。
• 基于泰勒近似推导一个作为真实对抗损失上界的正则化项。
• 将二阶正则化项整合到标准训练目标中，以提升鲁棒性。
• 使用标准反向传播优化网络，结合新的正则化损失函数。
• 确保正则化项能够捕捉损失曲面的曲率信息，以更好地建模对抗扰动。

实验结果

研究问题

• RQ1 对抗损失的二阶泰勒近似是否能提供比一阶方法更紧且更有效的正则化？
• RQ2 所提出的二阶正则化器是否在标准对抗训练之外进一步提升了鲁棒泛化能力？
• RQ3 具有曲率感知特性的正则化器如何影响在CIFAR-10等标准基准上的鲁棒准确率？
• RQ4 该二阶正则化器在标准深度网络上是否具有计算可行性与可扩展性？
• RQ5 由泰勒展开导出的上界是否能有效约束模型免受对抗攻击？

主要发现

• 所提出的二阶对抗正则化器（SOAR）相较于一阶近似，为对抗损失提供了更紧的上界。
• 在CIFAR-10数据集上，SOAR相较于标准对抗训练提升了鲁棒准确率。
• 二阶近似捕捉了曲率信息，从而在对抗扰动下实现了更好的泛化性能。
• 该方法在训练过程中无需生成迭代对抗攻击即可实现更高的鲁棒性。
• 正则化项计算高效，且与标准深度学习训练流程完全兼容。
• 实证结果证实，二阶方法在CIFAR-10上的对抗鲁棒性优于基线方法。