[论文解读] LAS-AT: Adversarial Training with Learnable Attack Strategy

Xiaojun Jia, Yong Zhang+4 more|arXiv (Cornell University)|Mar 13, 2022

Adversarial Robustness in Machine Learning被引用 8

一句话总结

该论文提出LAS-AT，一种新颖的对抗训练框架，通过策略网络学习样本相关的攻击策略，实现动态、自适应地生成对抗样本。与手工设计或固定策略不同，LAS-AT在训练过程中自动适应攻击难度，从而在CIFAR-10、CIFAR-100和Tiny ImageNet上实现了最先进水平的鲁棒性，并持续优于先前方法。

ABSTRACT

Adversarial training (AT) is always formulated as a minimax problem, of which the performance depends on the inner optimization that involves the generation of adversarial examples (AEs). Most previous methods adopt Projected Gradient Decent (PGD) with manually specifying attack parameters for AE generation. A combination of the attack parameters can be referred to as an attack strategy. Several works have revealed that using a fixed attack strategy to generate AEs during the whole training phase limits the model robustness and propose to exploit different attack strategies at different training stages to improve robustness. But those multi-stage hand-crafted attack strategies need much domain expertise, and the robustness improvement is limited. In this paper, we propose a novel framework for adversarial training by introducing the concept of "learnable attack strategy", dubbed LAS-AT, which learns to automatically produce attack strategies to improve the model robustness. Our framework is composed of a target network that uses AEs for training to improve robustness and a strategy network that produces attack strategies to control the AE generation. Experimental evaluations on three benchmark databases demonstrate the superiority of the proposed method. The code is released at https://github.com/jiaxiaojunQAQ/LAS-AT.

研究动机与目标

• 解决对抗训练中固定、手工设计的攻击策略所带来的局限性，这些策略限制了鲁棒性的提升。
• 实现自动化的、与样本相关的策略生成，使其在训练过程中能够根据目标模型的鲁棒性自适应调整。
• 消除在多阶段训练中对人工设计的度量标准或预定义攻击调度的依赖。
• 通过可学习的、动态演化的攻击策略（从弱攻击逐步演变为强攻击）提升对抗鲁棒性。

提出的方法

• LAS-AT采用双网络的极小化极大框架：一个目标网络用于鲁棒模型训练，一个策略网络用于生成攻击策略。
• 策略网络通过可微分松弛方法，对不可微操作进行近似，生成每个样本的攻击参数（如扰动范数、步长、迭代次数）。
• 采用基于REINFORCE的策略梯度方法训练策略网络，实现攻击生成过程的反向传播。
• 两个损失项指导策略网络训练：一个基于目标模型的鲁棒性，另一个用于干净样本的预测，以稳定训练过程。
• 该框架动态演化攻击难度——训练初期采用多样且较弱的攻击，随着模型鲁棒性增强，逐步转向更强的攻击。
• 在CIFAR-10、CIFAR-100和Tiny ImageNet上评估该方法，采用PGD-based攻击并调整不同超参数。

实验结果

研究问题

• RQ1 可学习的攻击策略是否能在对抗训练中超越手工设计的静态攻击策略？
• RQ2 基于模型鲁棒性自动调整攻击难度是否能提升泛化能力和鲁棒性？
• RQ3 在可学习策略框架中，攻击参数的分布如何随训练过程演变？
• RQ4 策略网络是否能在无需人工设计的情况下，学习生成有效且样本特定的攻击策略？

主要发现

• LAS-AT在CIFAR-10上实现了最先进水平的鲁棒准确率，在所有攻击场景下均优于CAT、DART和FAT。
• 在CIFAR-10上，LAS-AT在PGD-20攻击下达到89.7%的鲁棒准确率，比次优方法高出1.2个百分点。
• 策略网络的攻击参数随时间演变：训练初期呈现多样化且强度较低的扰动，而训练后期则更倾向于高强度攻击。
• LAS-AT持续优于超参数搜索基线方法（随机搜索、OHL、AdvHP），展现出更优的自适应能力与鲁棒性。
• 消融实验证实，两个损失项——鲁棒性评估与干净样本预测——对于稳定且有效的训练均不可或缺。