[论文解读] CAT: Customized Adversarial Training for Improved Robustness
本文提出了一种新型方法——定制对抗训练（CAT），该方法在对抗训练过程中自适应地为每个训练样本调整扰动水平和目标标签。通过动态调整实例特定的 $\epsilon$ 并使用软标签（而非独热编码标签）来反映置信度，CAT 在 Wide ResNet 上实现了 CIFAR-10 数据集上的最先进鲁棒准确率（PGD 攻击下为 73%，C&W 攻击下为 71%），同时保持了较高的干净准确率（93.48%）和极低的计算开销。
Adversarial training has become one of the most effective methods for improving robustness of neural networks. However, it often suffers from poor generalization on both clean and perturbed data. In this paper, we propose a new algorithm, named Customized Adversarial Training (CAT), which adaptively customizes the perturbation level and the corresponding label for each training sample in adversarial training. We show that the proposed algorithm achieves better clean and robust accuracy than previous adversarial training methods through extensive experiments.
研究动机与目标
- 为缓解对抗训练中鲁棒性与准确率之间的权衡问题，放松对所有样本采用固定全局扰动预算 $\epsilon$ 的假设。
- 通过基于样本内在鲁棒性与模型置信度，为每个实例定制对抗扰动水平和对应目标标签，以提升泛化能力。
- 开发一种计算效率与标准对抗训练相当的方法，同时在干净准确率与鲁棒准确率方面显著优于现有方法。
- 从理论上证明通过自适应标签不确定性与实例级 $\epsilon$ 调优可提升泛化性能。
提出的方法
- CAT 根据每个训练样本到决策边界的距离及其模型置信度，动态计算其特定的扰动预算 $\epsilon_i$。
- 采用基于置信度的标签自适应策略，在模型不确定时（尤其是靠近决策边界时）用软标签（如 $[0.5, 0.5]$）替代独热标签。
- 将对抗训练建模为带实例特定 $\epsilon_i$ 与自适应标签的极小化-极大化优化问题，提升鲁棒性的同时不损失干净准确率。
- 采用可微的标签自适应机制，将不确定性整合进损失函数，支持端到端训练。
- 算法使用基于 PGD 的攻击，并为每个样本采用自适应步长生成对抗样本，保持高效性。
- CAT 在统一框架中联合优化自适应 $\epsilon$ 与标签平滑（LA），使两个组件协同提升性能。
实验结果
研究问题
- RQ1自适应的、实例特定的扰动水平是否能同时提升对抗训练中的鲁棒准确率与干净准确率？
- RQ2用基于置信度的软标签替代独热标签是否能带来更好的决策边界泛化？
- RQ3一种同时为每个样本定制扰动水平与标签的方法，是否能超越标准对抗训练及现有自适应方法？
- RQ4CAT 的性能提升源于更优的优化过程，还是源于更鲁棒的决策边界？
- RQ5CAT 是否能缓解黑盒迁移攻击中的梯度混淆问题？
主要发现
- 在 CIFAR-10 上使用 Wide ResNet 时，CAT 在 PGD 攻击下实现 73% 的鲁棒准确率，在 C&W 攻击下实现 71%，显著优于此前最先进方法（分别为 58.6% 和 56.8%）。
- CAT 的干净准确率为 93.48%，远高于其他对抗训练方法（全部低于 91.34%）。
- CAT 保持了与标准对抗训练相当的计算效率，仅带来可忽略的额外开销。
- CAT 训练模型的损失景观比标准对抗训练及其他对抗训练方法更低、更平滑，表明其泛化能力更强。
- CAT 展现出强大的迁移鲁棒性，在 Wide ResNet 上的黑盒迁移攻击下达到 88.66% 的准确率，优于标准对抗训练与 TRADES 方法。
- 消融实验表明，自适应 $\epsilon$ 与标签自适应的结合至关重要——任一单独使用均无法带来同等性能提升。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。