[论文解读] Adversarial Style Augmentation for Domain Generalization

Yabin Zhang, Bin Deng+3 more|arXiv (Cornell University)|Jan 30, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出对抗性风格增强（Adversarial Style Augmentation, ASA），一种新颖的域泛化方法，通过对抗性学习最优特征统计扰动（均值与标准差）来提升模型鲁棒性，突破了小批量（mini-batch）的限制。通过对抗性训练联合优化扰动方向与强度，并以即插即用模块AdvStyle实现，该方法实现了最先进性能，在单源泛化设置下将ResNet-50在PACS数据集上的准确率从61.2%提升至67.1%。

ABSTRACT

It is well-known that the performance of well-trained deep neural networks may degrade significantly when they are applied to data with even slightly shifted distributions. Recent studies have shown that introducing certain perturbation on feature statistics (\eg, mean and standard deviation) during training can enhance the cross-domain generalization ability. Existing methods typically conduct such perturbation by utilizing the feature statistics within a mini-batch, limiting their representation capability. Inspired by the domain generalization objective, we introduce a novel Adversarial Style Augmentation (ASA) method, which explores broader style spaces by generating more effective statistics perturbation via adversarial training. Specifically, we first search for the most sensitive direction and intensity for statistics perturbation by maximizing the task loss. By updating the model against the adversarial statistics perturbation during training, we allow the model to explore the worst-case domain and hence improve its generalization performance. To facilitate the application of ASA, we design a simple yet effective module, namely AdvStyle, which instantiates the ASA method in a plug-and-play manner. We justify the efficacy of AdvStyle on tasks of cross-domain classification and instance retrieval. It achieves higher mean accuracy and lower performance fluctuation. Especially, our method significantly outperforms its competitors on the PACS dataset under the single source generalization setting, \eg, boosting the classification accuracy from 61.2\% to 67.1\% with a ResNet50 backbone. Our code will be available at \url{https://github.com/YBZh/AdvStyle}.

研究动机与目标

• 为解决现有域泛化方法将统计扰动限制在当前小批量内的局限，从而限制了风格增强的多样性。
• 通过学习更有效且鲁棒的统计扰动（均值与标准差），探索更广阔的风格空间，超越小批量统计限制。
• 通过在训练中模拟最坏情况的域偏移，提升视觉任务（如分类与实例检索）中的跨域泛化性能。
• 设计一种简单、端到端可训练的模块（AdvStyle），支持即插即用，无缝集成至现有深度学习模型。

提出的方法

• 该方法提出对抗性风格增强（ASA），将特征统计量（均值与标准差）建模为可学习参数，并通过对抗性训练进行优化。
• 采用两玩家博弈优化机制：模型被训练以最小化在最坏情况统计扰动下的任务损失，而扰动参数则被更新以最大化该损失。
• 扰动通过从以小批量均值与标准差为中心的高斯分布中采样生成，其中标准差被设为可学习参数。
• AdvStyle模块通过梯度反转层（Gradient Reversal Layers, GRL）将该机制集成至神经网络，支持端到端训练与即插即用部署。
• 扰动方向与强度被联合优化，使模型在训练过程中能够探索多样且具有挑战性的风格偏移。
• 该方法以可微方式实现，支持通过扰动生成过程进行反向传播。

实验结果

研究问题

• RQ1 对抗性学习特征统计扰动是否能突破小批量统计的限制，实现更优的域泛化？
• RQ2 探索统计扰动的方向是否比仅调节其强度更有效于域泛化？
• RQ3 与现有风格增强方法相比，所提出的AdvStyle模块在不同域上的准确率与鲁棒性表现如何？
• RQ4 在深层网络架构中，将AdvStyle插入不同层对泛化性能有何影响？
• RQ5 该方法在不同超参数设置下（特别是扰动强度λ）的稳定性如何？

主要发现

• 所提出的AdvStyle模块显著提升了泛化性能，在PACS数据集单源泛化设置下达到67.1%的top-1准确率，相较基线ResNet-50提升5.9个百分点。
• AdvStyle在PACS上相比最接近的基线方法DSU（Li et al., 2022）高出9.8个百分点，证明其在风格空间探索方面的优越性。
• 消融实验表明，在ResNet主干网络多个位置插入AdvStyle可持续提升性能，最佳结果出现在六个分析层全部应用时。
• 消融变体AdvStyle-Direction-Only（64.9%）优于AdvStyle-Intensity-Only（61.6%），表明学习扰动方向比单独调节强度更有效。
• 该方法在λ值范围（0.5至20）内表现稳定，λ=5时始终取得优异性能，验证了对超参数选择的鲁棒性。
• 通过t-SNE与A-distance可视化证实，AdvStyle显著增强了域对齐并减少了分布差异，验证了其扩展有效风格空间的能力。