[论文解读] Improving Out-of-Distribution Generalization by Adversarial Training with Structured Priors

Qixun Wang, Yifei Wang+2 more|arXiv (Cornell University)|Oct 13, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了两种对抗性训练方法——矩阵对抗性训练（MAT）和低秩对抗性训练（LDAT）——通过利用领域特定先验指导的结构化、低秩扰动，提升分布外（OOD）泛化能力。通过将扰动约束为跨领域的通用、低维结构，该方法减少了对虚假特征的依赖，在DomainBed基准上实现了最先进性能，优于标准的经验风险最小化和样本级对抗性训练。

ABSTRACT

Deep models often fail to generalize well in test domains when the data distribution differs from that in the training domain. Among numerous approaches to address this Out-of-Distribution (OOD) generalization problem, there has been a growing surge of interest in exploiting Adversarial Training (AT) to improve OOD performance. Recent works have revealed that the robust model obtained by conducting sample-wise AT also retains transferability to biased test domains. In this paper, we empirically show that sample-wise AT has limited improvement on OOD performance. Specifically, we find that AT can only maintain performance at smaller scales of perturbation while Universal AT (UAT) is more robust to larger-scale perturbations. This provides us with clues that adversarial perturbations with universal (low dimensional) structures can enhance the robustness against large data distribution shifts that are common in OOD scenarios. Inspired by this, we propose two AT variants with low-rank structures to train OOD-robust models. Extensive experiments on DomainBed benchmark show that our proposed approaches outperform Empirical Risk Minimization (ERM) and sample-wise AT. Our code is available at https://github.com/NOVAglow646/NIPS22-MAT-and-LDAT-for-OOD.

研究动机与目标

• 为解决标准样本级对抗性训练（AT）在大规模分布偏移下泛化性能差的问题。
• 探究结构化、低秩扰动是否能增强在分布外设置下对虚假相关性的鲁棒性。
• 开发并验证新型AT变体，显式整合领域级先验，以提升分布外性能之外的泛化能力。
• 从理论和实证两方面证明，领域级结构化扰动可加速对虚假特征依赖性收敛至零。

提出的方法

• 提出矩阵对抗性训练（MAT），在每个领域内学习一个共享的、低秩扰动矩阵，对同一领域内的所有样本统一应用。
• 引入低秩对抗性训练（LDAT），通过领域特定扰动的低秩分解来降低参数复杂度并提升泛化能力。
• 在对抗性训练中应用跨样本在领域内通用的结构化扰动，与样本级AT中为每个样本应用独立、高维扰动形成对比。
• 采用基于梯度的优化方法联合训练模型和扰动矩阵，同时将扰动约束为低秩结构，以促进对背景和风格的不变性。
• 利用领域级先验指导扰动的构建，确保其捕捉有意义的、低维的分布偏移，而非随机噪声。
• 理论分析表明，MAT和LDAT中的结构化扰动可在有限时间梯度下降下加速对虚假特征依赖性的收敛至零。

实验结果

研究问题

• RQ1 样本级对抗性训练是否因无法处理大规模扰动而导致在分布外数据上泛化性能差？
• RQ2 与标准AT相比，对抗性训练中采用领域级、低秩结构化扰动是否能提升OOD泛化能力？
• RQ3 结构化扰动如何影响模型对背景和风格等虚假特征的依赖性？
• RQ4 扰动数量（k）和秩（l）对MAT和LDAT性能有何影响？
• RQ5 所提出方法是否可在无需微调的情况下泛化至多样化的OOD基准？

主要发现

• MAT和LDAT在DomainBed基准的全部五个数据集上均优于标准经验风险最小化（ERM）和样本级对抗性训练。
• 在PACS数据集上，MAT达到82.3%的准确率，LDAT达到82.6%，显著优于ERM（79.8%）和标准AT（73.0%）在OOD设置下的表现。
• 使用Grad-CAM生成的可视化结果表明，MAT和LDAT关注物体区域，而ERM和AT则严重依赖背景和虚假特征。
• 当扰动数量（k）或秩（l）过小（如5）或过大（如1000）时，性能显著下降，表明存在一个最优的中间范围。
• 在某一数据集上选择的最优超参数（k和l）在其他数据集上也表现良好，表明方法在不同领域间具有鲁棒性和可迁移性。
• 理论分析证实，MAT和LDAT中的结构化扰动可在有限时间梯度下降下加速对虚假特征依赖性的收敛至零。