[论文解读] Curriculum Adversarial Training

Qi-Zhi Cai, Min Du+2 more|arXiv (Cornell University)|May 13, 2018

Adversarial Robustness in Machine Learning参考文献 15被引用 33

一句话总结

本文提出课程对抗训练（CAT），一种通过逐步增强攻击强度生成的对抗样本进行训练，以提升模型对对抗样本的鲁棒性。CAT结合了课程学习、批量混合和量化技术，在CIFAR-10上将最差情况下的准确率提高了25%，在SVHN上提高了35%，相比之前最先进方法，同时在干净数据上保持了接近最先进水平的性能。

ABSTRACT

Recently, deep learning has been applied to many security-sensitive applications, such as facial authentication. The existence of adversarial examples hinders such applications. The state-of-the-art result on defense shows that adversarial training can be applied to train a robust model on MNIST against adversarial examples; but it fails to achieve a high empirical worst-case accuracy on a more complex task, such as CIFAR-10 and SVHN. In our work, we propose curriculum adversarial training (CAT) to resolve this issue. The basic idea is to develop a curriculum of adversarial examples generated by attacks with a wide range of strengths. With two techniques to mitigate the forgetting and the generalization issues, we demonstrate that CAT can improve the prior art's empirical worst-case accuracy by a large margin of 25% on CIFAR-10 and 35% on SVHN. At the same, the model's performance on non-adversarial inputs is comparable to the state-of-the-art models.

研究动机与目标

• 为解决在CIFAR-10和SVHN等复杂数据集上，先前方法仅实现约45%和约40%最差情况准确率的鲁棒性有限的问题。
• 通过引入攻击强度各异的对抗样本课程，克服对抗训练中的灾难性遗忘和泛化能力差的问题。
• 证明将课程学习与批量混合及量化相结合，可显著提升模型的鲁棒性，同时不牺牲在干净数据上的性能。

提出的方法

• 提出一种课程学习框架，使用攻击强度逐步增强的攻击（如PGD，K=1, 2, ..., K_max）生成对抗样本，逐步在更难的样本上进行模型训练。
• 采用批量混合技术，将来自不同攻击强度的干净数据和对抗样本的小批量进行组合，以提升泛化能力并减少对特定攻击类型的过拟合。
• 在训练后应用量化（如8位或4位），以缩小攻击空间并增强鲁棒性，尤其针对强攻击具有显著效果。
• 采用两阶段训练流程：首先在弱攻击上进行训练以稳定学习过程，随后逐步引入更强的攻击以提升鲁棒性。
• 将课程学习、批量混合和量化三种组件整合进统一的训练流程，以最大化模型的鲁棒性。
• 利用关键洞察：弱攻击有助于防止灾难性遗忘，而强攻击与量化共同作用可提升对未知攻击的泛化能力。

实验结果

研究问题

• RQ1 是否可以通过逐步增强攻击强度的对抗样本课程，在CIFAR-10和SVHN等复杂数据集上实现超越先前对抗训练方法的鲁棒性？
• RQ2 在训练课程中引入弱攻击是否有助于缓解对抗训练过程中的灾难性遗忘？
• RQ3 当与课程对抗训练结合时，量化是否可作为有效的防御机制？
• RQ4 批量混合是否对鲁棒性至关重要，还是仅靠课程学习即可实现？
• RQ5 与标准训练相比，CAT在非对抗输入上的性能下降程度如何？

主要发现

• 在CIFAR-10上，CAT将实证最差情况测试准确率提升至69.27%，相比之前最先进方法（46.18%）提高了25%的相对性能。
• 在SVHN上，CAT实现了75.66%的最差情况准确率，相比之前最先进方法（40.38%）提高了35%的相对性能。
• 在非对抗测试数据上的性能下降极小——CIFAR-10上仅下降5%至6%，SVHN上约为1%，表明具有极强的泛化能力。
• 仅使用批量混合而不使用课程学习时，对强攻击的鲁棒性表现差，表明课程学习对鲁棒性至关重要。
• 量化在所有模型架构和数据集上均显著提升了鲁棒性，当与CAT结合时，能有效增强对强攻击的防御能力。
• 消融实验确认课程学习至关重要：CAT（含课程、混合与量化）相比MIX+Quant（无课程）表现大幅领先，证明课程学习具有独特贡献。