[论文解读] Consistency Regularization for Adversarial Robustness

Jihoon Tack, Sihyun Yu+4 more|arXiv (Cornell University)|Mar 8, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出了一种一致性正则化技术，通过强制同一输入经由两种不同增强方式生成的对抗样本之间预测结果相似，从而提升对抗鲁棒性。通过利用数据增强并强制攻击方向的一致性，该方法显著减少了鲁棒过拟合现象，在CIFAR-10上将鲁棒准确率最高提升了6.74个百分点，并增强了对未见对抗攻击的泛化能力。

ABSTRACT

Adversarial training (AT) is currently one of the most successful methods to obtain the adversarial robustness of deep neural networks. However, the phenomenon of robust overfitting, i.e., the robustness starts to decrease significantly during AT, has been problematic, not only making practitioners consider a bag of tricks for a successful training, e.g., early stopping, but also incurring a significant generalization gap in the robustness. In this paper, we propose an effective regularization technique that prevents robust overfitting by optimizing an auxiliary `consistency' regularization loss during AT. Specifically, we discover that data augmentation is a quite effective tool to mitigate the overfitting in AT, and develop a regularization that forces the predictive distributions after attacking from two different augmentations of the same instance to be similar with each other. Our experimental results demonstrate that such a simple regularization technique brings significant improvements in the test robust accuracy of a wide range of AT methods. More remarkably, we also show that our method could significantly help the model to generalize its robustness against unseen adversaries, e.g., other types or larger perturbations compared to those used during training. Code is available at https://github.com/alinlab/consistency-adversarial.

研究动机与目标

• 为解决对抗训练中鲁棒性在优化过程中下降的鲁棒过拟合问题。
• 减少训练集与测试集之间对抗鲁棒性的泛化差距。
• 提升对未见对抗攻击（如更大扰动或训练期间未见的攻击类型）的鲁棒性。
• 开发一种简单、可插拔的正则化技术，兼容现有对抗训练框架。
• 证明当与一致性正则化结合时，数据增强能为鲁棒性注入有用的归纳偏置。

提出的方法

• 该方法对同一输入应用数据增强（特别是AutoAugment），生成两种不同的增强版本。
• 对每种增强后的输入，使用指定扰动预算的PGD攻击生成对抗样本。
• 引入一致性正则化损失，以最小化模型在两个对抗样本上的预测分布之间的KL散度。
• 损失函数促使模型对源自同一样本不同增强方式生成的对抗样本输出相似的预测结果。
• 该正则化损失与标准对抗训练损失联合使用，使其可兼容任何AT方法。
• 攻击方向被证明编码了‘暗知识’——即干净输入下最具有迷惑性的类别，因此攻击方向上的一致性具有信息量。

实验结果

研究问题

• RQ1 在对抗扰动的增强样本之间施加一致性正则化，能否减少对抗训练中的鲁棒过拟合？
• RQ2 在不同增强方式下强制预测一致性，能否提升对未见对抗攻击的泛化能力？
• RQ3 当与一致性正则化结合时，数据增强在缓解鲁棒过拟合方面有多有效？
• RQ4 一致性正则化对数据分布偏移的鲁棒性（如CIFAR-10-C）有何影响？
• RQ5 所提出的方法是否可在无需架构修改的情况下有效应用于多种AT框架？

主要发现

• 在CIFAR-10上，该方法将标准对抗训练的鲁棒准确率从44.86%提升至PGD-100攻击下ε=8/255的56.38%。
• 在CIFAR-100上，该方法在相同攻击设置下将鲁棒准确率从29.74%提升至37.81%。
• 在CIFAR-10上，该方法将平均损坏误差（mCE）从24.03%降低至22.06%，表明对分布偏移的鲁棒性得到提升。
• 在低数据场景（训练数据的10%）下，该方法实现了41.2%的鲁棒准确率，优于AWP方法（34.7%），展现出优异的数据效率。
• 该模型对未见对抗攻击（包括更大扰动和不同威胁模型）表现出更好的泛化能力。
• 77.45%的被错误分类的对抗样本预测了最具有迷惑性的类别，验证了攻击方向确实编码了有意义的‘暗知识’。