[论文解读] Regional Adversarial Training for Better Robust Generalization

Chuanbiao Song, Yanbo Fan+5 more|arXiv (Cornell University)|Sep 2, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用 5

一句话总结

本文提出区域对抗训练（RAT），一种新颖的对抗训练框架，通过在对抗区域内采样多样化的扰动点，并应用距离感知标签平滑以考虑其空间特征，从而提升模型的鲁棒泛化能力。与标准对抗训练相比，RAT 在 CIFAR-10 和 CIFAR-100 上实现了最先进（SOTA）的鲁棒准确率，且无需额外训练成本。

ABSTRACT

Adversarial training (AT) has been demonstrated as one of the most promising defense methods against various adversarial attacks. To our knowledge, existing AT-based methods usually train with the locally most adversarial perturbed points and treat all the perturbed points equally, which may lead to considerably weaker adversarial robust generalization on test data. In this work, we introduce a new adversarial training framework that considers the diversity as well as characteristics of the perturbed points in the vicinity of benign samples. To realize the framework, we propose a Regional Adversarial Training (RAT) defense method that first utilizes the attack path generated by the typical iterative attack method of projected gradient descent (PGD), and constructs an adversarial region based on the attack path. Then, RAT samples diverse perturbed training points efficiently inside this region, and utilizes a distance-aware label smoothing mechanism to capture our intuition that perturbed points at different locations should have different impact on the model performance. Extensive experiments on several benchmark datasets show that RAT consistently makes significant improvement on standard adversarial training (SAT), and exhibits better robust generalization.

研究动机与目标

• 通过考虑扰动训练点的多样性与空间特征，解决标准对抗训练（SAT）鲁棒泛化能力弱的问题。
• 克服在 ϵ-球内将所有扰动点同等对待所带来的局限，该做法易导致对特定攻击模式的过拟合。
• 在不增加训练成本的前提下，提升对多种 PGD 攻击设置及自然图像噪声的鲁棒性。
• 开发一种在不同对抗威胁模型下均稳定且泛化能力强的防御机制。
• 确保该方法不会出现梯度混淆现象，从而确认其具备真正的鲁棒性而非逃避攻击的伪影。

提出的方法

• 利用三个关键点构建对抗区域：原始良性样本、PGD 攻击路径上的首个对抗样本，以及最终的对抗样本。
• 使用基于对抗区域的采样器（ARS）高效地在该区域内采样多样化的扰动训练点，以促进对抗方向与幅度的多样性。
• 应用距离感知标签平滑（DLS）机制，根据每个扰动点与原始输入的距离分配软标签，距离越近则置信度越高。
• 将 ARS 与 DLS 整合进统一的对抗训练框架，在保持标准准确率的同时提升鲁棒性。
• 每轮训练仅使用一次 PGD 攻击，确保与标准对抗训练相比无额外计算开销。
• 设计标签平滑函数，使得扰动点的软标签为真实标签与均匀分布的凸组合，权重由其与良性样本的距离决定。

实验结果

研究问题

• RQ1 提升对抗区域内扰动训练点的多样性，是否能带来更好的鲁棒泛化性能？
• RQ2 根据扰动点在对抗区域内的空间位置分配不同的软标签，是否能增强模型的鲁棒性？
• RQ3 与标准对抗训练相比，RAT 在不同 PGD 攻击设置（如不同攻击步数与步长）下的表现如何？
• RQ4 RAT 在自然图像噪声下的泛化能力是否优于现有对抗训练方法？
• RQ5 RAT 是否引入了梯度混淆现象，从而表明其为虚假防御而非真正的鲁棒性？

主要发现

• 在 PGD 与 CW∞ 攻击下，RAT 在 CIFAR-10 与 CIFAR-100 上均实现了最先进（SOTA）的鲁棒准确率，显著优于标准对抗训练及其他 SOTA 方法。
• 在 CIFAR-10-C 与 CIFAR-100-C 上，RAT 在所有噪声等级下均达到最高平均准确率，表明其对自然分布偏移具有更强的鲁棒性。
• 消融实验表明，结合 ARS 与 DLS 可获得最大性能提升，其中 ARS 单独使用已优于 SAT，而 DLS 进一步通过建模空间特征提升了性能。
• RAT 未表现出梯度混淆现象，经验证更强的迭代攻击（如 PGD）优于单步攻击，且随着扰动预算增大，鲁棒性下降，表明其具备真实鲁棒性。
• RAT 的训练时间与 SAT 几乎相同——在 CIFAR-10 上训练 1000 轮，SAT 耗时 41.88 分钟，RAT 为 47.95 分钟，确认无额外训练成本。
• RAT 的标准准确率与鲁棒准确率之间的差距更小，表明其泛化能力更强，且对特定攻击模式的过拟合程度更低。