[论文解读] Boosting the Certified Robustness of L-infinity Distance Nets

Bohang Zhang, Jiang Du+2 more|arXiv (Cornell University)|Oct 13, 2021

Adversarial Robustness in Machine Learning参考文献 59被引用 6

一句话总结

本文提出了一种新颖的训练策略，显著提升了 ℓ∞-距离网络的认证鲁棒性——这类神经网络本身具有 1-Lipschitz 性质，因此在 ℓ∞ 扰动下天然具备可认证的鲁棒性。通过引入一种混合损失函数，结合缩放交叉熵与裁剪铰链损失，并采用衰减的混合系数，该方法克服了先前 ℓp-松弛技术带来的优化问题，在 CIFAR-10 上实现了 40.06% 的认证准确率（ε=8/255），远超此前的最先进水平。

ABSTRACT

Recently, Zhang et al. (2021) developed a new neural network architecture based on $\ell_\infty$-distance functions, which naturally possesses certified $\ell_\infty$ robustness by its construction. Despite the novel design and theoretical foundation, so far the model only achieved comparable performance to conventional networks. In this paper, we make the following two contributions: $\mathrm{(i)}$ We demonstrate that $\ell_\infty$-distance nets enjoy a fundamental advantage in certified robustness over conventional networks (under typical certification approaches); $\mathrm{(ii)}$ With an improved training process we are able to significantly boost the certified accuracy of $\ell_\infty$-distance nets. Our training approach largely alleviates the optimization problem that arose in the previous training scheme, in particular, the unexpected large Lipschitz constant due to the use of a crucial trick called $\ell_p$-relaxation. The core of our training approach is a novel objective function that combines scaled cross-entropy loss and clipped hinge loss with a decaying mixing coefficient. Experiments show that using the proposed training strategy, the certified accuracy of $\ell_\infty$-distance net can be dramatically improved from 33.30% to 40.06% on CIFAR-10 ($ε=8/255$), meanwhile outperforming other approaches in this area by a large margin. Our results clearly demonstrate the effectiveness and potential of $\ell_\infty$-distance net for certified robustness. Codes are available at https://github.com/zbh2047/L_inf-dist-net-v2.

研究动机与目标

• 解决 ℓ∞-距离网络尽管在 Lipschitz 基认证中具有理论优势，但其认证鲁棒性仍不理想的问题。
• 识别并解决先前训练方案中的优化失败问题，特别是 ℓp-松弛导致 Lipschitz 常数意外增大的问题。
• 证明仅使用 ℓ∞-距离网络——无需额外的 MLP 头——即可实现最先进的认证鲁棒性。
• 建立一种理论基础坚实、有效的训练目标，以在保持网络固有 1-Lipschitz 性质的同时最大化鲁棒准确率。

提出的方法

• 提出一种混合损失函数，结合缩放交叉熵与改进的裁剪铰链损失，并使用衰减的混合系数，在训练过程中平衡鲁棒性与准确率。
• 用一种可微且非松弛的公式替代先前工作中使用的 ℓp-松弛技巧，避免网络 Lipschitz 常数的膨胀。
• 设计损失函数以直接最大化输出间隔，从而支持基于间隔的认证，同时保持网络的 1-Lipschitz 性质。
• 使用新目标端到端训练 ℓ∞-距离网络，确保模型仅通过前向传播即可保持内在的可认证鲁棒性。
• 采用全连接网络架构实现 ℓ∞-距离网络，避免引入额外的 MLP 头，以保持结构简洁与认证效率。
• 在 CIFAR-10 上验证方法，ε=8/255，与先前最先进方法对比认证准确率。

实验结果

研究问题

• RQ1 ℓ∞-距离网络是否能在不依赖额外 MLP 头或复杂架构的情况下，实现最先进的认证鲁棒性？
• RQ2 为何先前针对 ℓ∞-距离网络的训练方法尽管具备理论鲁棒性保证，却未能实现高认证准确率？
• RQ3 先前工作中使用的 ℓp-松弛技巧是否无意中增加了网络的 Lipschitz 常数，从而削弱了鲁棒性？
• RQ4 一种简单且结合交叉熵与铰链损失的混合损失函数，是否能有效训练 ℓ∞-距离网络以实现高认证准确率？
• RQ5 在典型认证方法下，ℓ∞-距离网络相较于常规网络是否在认证鲁棒性方面具有根本性优势？

主要发现

• 所提出的训练方法将 ℓ∞-距离网络在 CIFAR-10 上 ε=8/255 条件下的认证准确率从 33.30% 提升至 40.06%，相比先前工作有显著改进。
• 新损失函数成功避免了由 ℓp-松弛引起的 Lipschitz 常数过度增长，恢复了网络最大化鲁棒准确率的能力。
• 理论分析证实，在温和的数据集假设下，ℓ∞-距离网络可实现完美的认证鲁棒性，展现出强大的表达能力。
• 该方法在 ℓ∞-范数扰动下建立了新的认证鲁棒性最先进水平，优于常规网络及先前的认证方法。
• 仅 ℓ∞-距离网络架构本身即足以实现高认证准确率，无需再依赖早期方法中使用的额外 MLP 组件。