[论文解读] Adversarial Training with Complementary Labels: On the Benefit of Gradually Informative Attacks

Jianan Zhou, Jianing Zhu+5 more|arXiv (Cornell University)|Nov 1, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出了一种针对互补标签（CLs）的新型对抗训练框架，其中模型通过指示样本不属于哪些类别的标签进行训练。该方法引入了渐进式信息攻击：通过渐增的扰动预算实现的渐进式对抗攻击（Warm-up Attack），以及将模型预测结果整合到修正损失中的伪标签攻击（Pseudo-Label Attack），在CIFAR10和Kuzushiji数据集上实现了最先进的鲁棒准确率，其性能接近使用普通标签的标准对抗训练。

ABSTRACT

Adversarial training (AT) with imperfect supervision is significant but receives limited attention. To push AT towards more practical scenarios, we explore a brand new yet challenging setting, i.e., AT with complementary labels (CLs), which specify a class that a data sample does not belong to. However, the direct combination of AT with existing methods for CLs results in consistent failure, but not on a simple baseline of two-stage training. In this paper, we further explore the phenomenon and identify the underlying challenges of AT with CLs as intractable adversarial optimization and low-quality adversarial examples. To address the above problems, we propose a new learning strategy using gradually informative attacks, which consists of two critical components: 1) Warm-up Attack (Warm-up) gently raises the adversarial perturbation budgets to ease the adversarial optimization with CLs; 2) Pseudo-Label Attack (PLA) incorporates the progressively informative model predictions into a corrected complementary loss. Extensive experiments are conducted to demonstrate the effectiveness of our method on a range of benchmarked datasets. The code is publicly available at: https://github.com/RoyalSkye/ATCL.

研究动机与目标

• 为解决互补标签（CLs）下的对抗训练问题，这是一个实际但研究不足的设置，其监督信息不完整。
• 识别并解决在CLs下对抗训练的核心问题：难以处理的对抗优化和低质量的对抗样本。
• 开发一种新的学习策略，使在仅使用CLs进行训练时也能实现有效的对抗鲁棒性。
• 缩小使用CLs进行对抗训练与使用普通标签进行标准对抗训练之间的性能差距。

提出的方法

• 提出渐进式对抗攻击（Warm-up Attack），在训练初期逐步增加扰动预算，以稳定CLs下的对抗优化。
• 提出伪标签攻击（Pseudo-Label Attack, PLA），将逐步优化的模型预测结果整合到修正的互补损失中，以生成更具信息量的对抗攻击。
• 采用两阶段训练策略：首先使用互补损失在CLs上进行预训练，然后使用PLA生成的对抗样本进行微调。
• 采用反向修正损失函数，确保在足够数据下，互补风险与普通风险之间保持统计一致性。
• 设计训练调度策略，使攻击的信息量随时间增加，从而同时提升优化稳定性和对抗样本质量。
• 采用基于PGD的对抗攻击，结合动态扰动预算和模型预测，以在CLs监督下生成高质量的对抗样本。

实验结果

研究问题

• RQ1 为何直接结合对抗训练与互补标签学习在标准监督学习中成功，但在互补标签设置下失败？
• RQ2 导致在互补标签下对抗训练不稳定且性能差的根本原因是什么？
• RQ3 当仅使用互补标签时，如何稳定对抗优化过程？
• RQ4 能否使在互补监督下生成的对抗样本具备高质量和信息量？
• RQ5 使用互补标签进行对抗鲁棒性训练，能在多大程度上接近使用普通标签的标准对抗训练性能？

主要发现

• 所提方法Warm-up+PLA在Kuzushiji数据集上达到90.50%的PGD20测试准确率，显著优于基线及其他所有方法。
• 在CIFAR10数据集上，该方法达到54.58%的PGD20准确率，尽管缺乏普通标签，仍表现出强大的鲁棒性。
• 两阶段基线在SVHN数据集上的表现优于标准AT的Oracle模型，表明在对抗训练中，噪声或不完美的监督可能具有潜在优势。
• 消融实验表明，Warm-up Attack与Pseudo-Label Attack均不可或缺：任一移除均导致性能下降，尤其在复杂数据集上更为明显。
• 该方法对超参数调优具有鲁棒性，在生长率参数$E_{\mathrm{s}}$的广泛范围内均保持稳定性能。
• 实证分析证实，所提方法可缓解梯度消失问题并降低梯度方差，从而稳定CLs下的训练过程。