[论文解读] Toward Adversarial Robustness via Semi-supervised Robust Training

Yiming Li, Baoyuan Wu+5 more|arXiv (Cornell University)|Mar 16, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用 5

一句话总结

本文提出了一种新型防御方法——半监督鲁棒训练（Semi-supervised Robust Training, SRT），通过联合最小化标准风险与鲁棒风险来提升对抗鲁棒性。通过解耦风险并利用无标签数据，基于标签无关的鲁棒风险，SRT在像素级扰动和空间扰动下均实现了最先进性能，即使使用更少的标注样本，也优于监督方法。

ABSTRACT

Adversarial examples have been shown to be the severe threat to deep neural networks (DNNs). One of the most effective adversarial defense methods is adversarial training (AT) through minimizing the adversarial risk $R_{adv}$, which encourages both the benign example $x$ and its adversarially perturbed neighborhoods within the $\ell_{p}$-ball to be predicted as the ground-truth label. In this work, we propose a novel defense method, the robust training (RT), by jointly minimizing two separated risks ($R_{stand}$ and $R_{rob}$), which is with respect to the benign example and its neighborhoods respectively. The motivation is to explicitly and jointly enhance the accuracy and the adversarial robustness. We prove that $R_{adv}$ is upper-bounded by $R_{stand} + R_{rob}$, which implies that RT has similar effect as AT. Intuitively, minimizing the standard risk enforces the benign example to be correctly predicted, and the robust risk minimization encourages the predictions of the neighbor examples to be consistent with the prediction of the benign example. Besides, since $R_{rob}$ is independent of the ground-truth label, RT is naturally extended to the semi-supervised mode ($i.e.$, SRT), to further enhance the adversarial robustness. Moreover, we extend the $\ell_{p}$-bounded neighborhood to a general case, which covers different types of perturbations, such as the pixel-wise ($i.e.$, $x + δ$) or the spatial perturbation ($i.e.$, $ AX + b$). Extensive experiments on benchmark datasets not only verify the superiority of the proposed SRT method to state-of-the-art methods for defensing pixel-wise or spatial perturbations separately, but also demonstrate its robustness to both perturbations simultaneously. The code for reproducing main results is available at \url{https://github.com/THUYimingLi/Semi-supervised_Robust_Training}.

研究动机与目标

• 为解决深度神经网络在多种扰动类型下对对抗样本的脆弱性问题。
• 通过利用无标签数据，在监督对抗训练的基础上进一步提升对抗鲁棒性。
• 开发一种统一的防御框架，能够泛化至多种扰动类型，包括像素级扰动与空间变换。
• 通过对抗风险的上界理论证明联合风险最小化的有效性。
• 证明鲁棒性不仅可通过标注数据提升，也可通过无标签数据增强，从而实现高效的半监督学习。

提出的方法

• 该方法提出了一种新的鲁棒训练（RT）目标，联合最小化标准风险 $ R_{\text{stand}} $ 与鲁棒风险 $ R_{\text{rob}} $，其中 $ R_{\text{rob}} $ 衡量良性样本与其扰动邻域之间预测的一致性。
• 鲁棒风险 $ R_{\text{rob}} $ 定义为所有扰动邻域上的最大 0/1 损失，且不依赖真实标签，从而支持半监督扩展。
• 本文证明了对抗风险 $ R_{\text{adv}} $ 被上界 $ R_{\text{stand}} + R_{\text{rob}} $ 所限制，确保 RT 能达到与对抗训练相当的鲁棒性。
• 通过基于度量的邻域定义，将 $ \ell_p $-有界邻域推广至更广泛的变换类别，包括空间扰动与函数扰动。
• 半监督鲁棒训练（SRT）将无标签数据引入 $ R_{\text{rob}} $，在无需为这些样本提供标签的情况下显著提升鲁棒性。
• 通过同时对多种扰动类型应用广义邻域定义，将该框架扩展至防御复合攻击。

实验结果

研究问题

• RQ1 与标准对抗训练相比，联合最小化标准风险与鲁棒风险是否能更有效地提升对抗鲁棒性？
• RQ2 由于鲁棒风险与真实标签无关，它是否可在半监督设置中被有效利用以提升模型泛化能力？
• RQ3 将扰动邻域从 $ \ell_p $-有界像素级扰动推广至更广范围，是否能实现对空间变换等多样化攻击类型的防御？
• RQ4 通过 SRT 训练的单一模型是否能同时抵御像素级与空间扰动？
• RQ5 使用无标签数据如何影响鲁棒训练中标准准确率与对抗鲁棒性之间的权衡？

主要发现

• 仅使用 10,000 个标注样本与 50,000 个无标注 MNIST 样本训练的 SRT，在空间攻击上的对抗准确率，超过了使用全部 60,000 个标注样本训练的 Worst-of-k 方法。
• 随着无标签数据量的增加，SRT 的对抗准确率持续提升，表明其具备良好的可扩展性，并且在更大数据池下仍有进一步提升潜力。
• 可视化结果表明，SRT 生成的决策边界更平坦，且具有更高的置信度平台，解释了其对小扰动的鲁棒性。
• SRT 在同时防御像素级与空间扰动方面优于当前最先进方法，展现出联合鲁棒性。
• 该方法可推广至像素级与空间扰动之外的其他变换，如模糊化与颜色变换，具有潜在扩展性。