[论文解读] MACER: Attack-free and Scalable Robust Training via Maximizing Certified Radius

Runtian Zhai, Dan Chen+6 more|arXiv (Cornell University)|Jan 8, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 66

一句话总结

MACER 通过直接最大化从随机化平滑得到的认证半径，在没有对抗攻击的情况下训练鲁棒深度网络，达到可证明的 l2 鲁棒性，训练更快，并在 CIFAR-10、ImageNet、MNIST 和 SVHN 上取得强劲的经验结果。

ABSTRACT

Adversarial training is one of the most popular ways to learn robust models but is usually attack-dependent and time costly. In this paper, we propose the MACER algorithm, which learns robust models without using adversarial training but performs better than all existing provable l2-defenses. Recent work shows that randomized smoothing can be used to provide a certified l2 radius to smoothed classifiers, and our algorithm trains provably robust smoothed classifiers via MAximizing the CErtified Radius (MACER). The attack-free characteristic makes MACER faster to train and easier to optimize. In our experiments, we show that our method can be applied to modern deep neural networks on a wide range of datasets, including Cifar-10, ImageNet, MNIST, and SVHN. For all tasks, MACER spends less training time than state-of-the-art adversarial training algorithms, and the learned models achieve larger average certified radius.

研究动机与目标

• 在不依赖攻击的训练的前提下，推动提供可证明保证的鲁棒分类。
• 实现对深度网络在 L2 扰动下具有认证鲁棒性的可扩展训练。
• 直接优化认证鲁棒半径，以提升准确性和鲁棒性。
• 在多数据集上与对抗训练和基于认证的基线进行比较。

提出的方法

• 利用通过高斯平滑 f_theta 定义的平滑分类器 g_theta。
• 使用高斯平滑界计算认证半径 CR(g_theta; x, y)。
• 将联合目标函数形式化为 l(g_theta; x, y) = l_C(g_theta; x, y) + l_R(g_theta; x, y)。
• 采用替代损失：l_C 作为交叉熵；l_R 作为对认证半径的铰链损失。
• 引入 Soft-RS 以获得可微分的认证半径：CR(tilde g_theta; x, y) 在高斯噪声的期望下。
• 通过对 z_theta 和平滑概率的蒙特卡罗估计来优化经验替代损失。
• 给出一个端到端算法（MACER），在没有内部对抗循环的情况下交替小批量更新。

实验结果

研究问题

• RQ1 通过最大化认证半径，是否能在不使用基于攻击的训练的情况下实现可证明的鲁棒性？
• RQ2 随机平滑是否能扩展到现代深度网络和大规模数据集，并提供可靠的鲁棒性保证？
• RQ3 MACER 在准确性和平均认证半径（ACR）方面与现有的平滑分类器和对抗训练相比表现如何？
• RQ4 哪些实用的替代损失和可微分表达有助于稳定优化认证鲁棒性？
• RQ5 超参数（噪声水平 sigma、采样次数 k、lambda、gamma、beta）如何影响跨数据集的鲁棒性-准确性权衡？

主要发现

• MACER 在 CIFAR-10、ImageNet、MNIST 和 SVHN 的测试中始终比仅 CE 基训练得到更高的近似认证测试准确度。
• 在 CIFAR-10 上，MACER 相较于基线在可比设置下获得更大的平均认证半径（ACR），在某些 sigma 配置下提升约 3% 。
• 在 ImageNet 上，MACER 的 ACR 与基线相当或更好，同时缩短训练时间；例如 sigma=0.25 时，MACER 的 ACR 为 0.544，而 Cohen 为 0.470、Salman 为 0.528。
• 由于避免内部攻击循环，MACER 的训练比对抗训练快，在 CIFAR-10 与 ImageNet 的比较中表现为更低的每 epoch 秒数和总训练小时数。
• Soft-RS 形式化提供了可微分的认证半径，使优化更稳定；基于铰链的鲁棒性损失有助于减缓梯度爆炸。
• 在大规模数据集和体系结构（如 CIFAR-10 和 ImageNet 的 ResNet 变体）上的训练时间效率和鲁棒性提升得到证实。