[论文解读] Adversarial Training: A Survey

Mengnan Zhao, Lihe Zhang+4 more|arXiv (Cornell University)|Oct 19, 2024

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本综述对深度学习中的对抗训练（AT）提供了全面概述，系统性地将方法按数据增强、网络设计和训练配置三个维度进行分类。它识别出关键挑战，如灾难性过拟合和公平性问题，并提出了未来研究方向，包括统一的公平性框架、可解释性改进以及资源高效的AT技术。

ABSTRACT

Adversarial training (AT) refers to integrating adversarial examples -- inputs altered with imperceptible perturbations that can significantly impact model predictions -- into the training process. Recent studies have demonstrated the effectiveness of AT in improving the robustness of deep neural networks against diverse adversarial attacks. However, a comprehensive overview of these developments is still missing. This survey addresses this gap by reviewing a broad range of recent and representative studies. Specifically, we first describe the implementation procedures and practical applications of AT, followed by a comprehensive review of AT techniques from three perspectives: data enhancement, network design, and training configurations. Lastly, we discuss common challenges in AT and propose several promising directions for future research.

研究动机与目标

• 为解决近期在数据、模型架构和训练配置方面对抗训练（AT）进展缺乏统一、全面的综述问题。
• 识别并分析AT中的核心挑战，包括灾难性过拟合、公平性问题以及高计算成本。
• 提出新型研究方向，如统一的公平性框架、可解释性增强以及资源高效的AT方法。
• 评估在18项未探索的深度学习任务中应用AT的可行性，包括3D视觉、音频处理和个性化医疗。

提出的方法

• 将AT技术按三个维度分类：数据增强（源数据、通用数据和对抗性数据增强）、网络设计（如CNN、GNN、Transformer等架构，以及批量归一化、激活函数等组件）和训练配置（损失函数、标签修改和优化策略）。
• 分析基于白盒和黑盒攻击的对抗性数据生成，包括多步和单步方法，并探讨扰动初始化策略（随机、可学习、先验引导）。
• 引入并评估先进训练技术，如标签平滑、标签插值和权重正则化，以提升稳定性和鲁棒性。
• 提出自适应批量归一化机制，根据输入类型（干净样本或对抗样本）动态选择BN层，实现在推理阶段的自动处理。
• 利用分布相似性度量（如Wasserstein距离和最大均值差异）生成与原始数据分布高度匹配的对抗性样本。
• 建议将快速AT与模型剪枝相结合，通过在剪枝模型上并行生成对抗性样本，再将其应用于完整模型，以降低计算成本。

实验结果

研究问题

• RQ1 如何在数据、架构和训练配置三个维度上对对抗训练进行系统性分类？
• RQ2 灾难性过拟合在对抗训练中的主要成因和影响是什么？是否可以被建设性地利用？
• RQ3 如何在层间、类间和样本间三个层面统一实现对抗鲁棒性中的公平性？
• RQ4 能否设计出能够同时检测、分类并鲁棒处理干净样本和对抗样本的模型，而无需手动指定输入类型？
• RQ5 在哪些尚未探索的深度学习任务中，对抗训练能提供可衡量的优势？其相关挑战是什么？

主要发现

• 对抗训练在医学图像分割、自动驾驶和异常检测等多个领域显著提升了模型鲁棒性。
• 标签平滑、基于梯度的过滤和可学习扰动初始化等技术可增强数据多样性并提升模型泛化能力。
• AT中的灾难性过拟合可被利用以缓解干净样本与对抗样本准确率之间的权衡问题，但对自适应攻击仍显脆弱。
• 分布式与资源感知的训练策略——如基于剪枝的快速AT——可在保持鲁棒性的同时降低计算成本。
• 亟需建立统一的公平性框架，以解决对抗训练模型中跨层、跨类和跨样本的分层公平性问题。
• 对抗训练在18项关键深度学习任务中仍处于未探索状态，包括3D实例分割、音频恢复和个性化医疗，显示出巨大的潜在价值。