[论文解读] Gradient Matching for Domain Generalization

Yuge Shi, Jeffrey Seely+5 more|arXiv (Cornell University)|Apr 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 42被引用 15

一句话总结

本文提出跨域梯度匹配（IDGM），一种领域泛化方法，通过最大化不同领域梯度之间的内积来对齐梯度，以促进不变表示的学习。该方法引入了Fish，即IDGM的一阶近似方法，无需计算二阶导数，在Wilds和DomainBed基准上实现了最先进性能，显著提升了分布偏移下的泛化能力。

ABSTRACT

Machine learning systems typically assume that the distributions of training and test sets match closely. However, a critical requirement of such systems in the real world is their ability to generalize to unseen domains. Here, we propose an inter-domain gradient matching objective that targets domain generalization by maximizing the inner product between gradients from different domains. Since direct optimization of the gradient inner product can be computationally prohibitive -- requires computation of second-order derivatives -- we derive a simpler first-order algorithm named Fish that approximates its optimization. We demonstrate the efficacy of Fish on 6 datasets from the Wilds benchmark, which captures distribution shift across a diverse range of modalities. Our method produces competitive results on these datasets and surpasses all baselines on 4 of them. We perform experiments on both the Wilds benchmark, which captures distribution shift in the real world, as well as datasets in DomainBed benchmark that focuses more on synthetic-to-real transfer. Our method produces competitive results on both benchmarks, demonstrating its effectiveness across a wide range of domain generalization tasks.

研究动机与目标

• 解决机器学习中的领域泛化问题，即模型需泛化到未见的、分布外的数据。
• 克服标准ERM的局限性，后者因领域特异性偏差而学习到虚假相关性（例如，背景特征）。
• 开发一种通过跨领域对齐梯度来促使模型学习不变特征的方法。
• 设计一种计算高效的二阶梯度匹配替代方法，避免其计算成本过高的问题。
• 在多样化的现实世界与合成领域偏移基准上验证该方法。

提出的方法

• 提出一种跨域梯度匹配（IDGM）目标，通过最大化来自不同领域梯度之间的内积来对齐优化动态。
• 基于元学习（Reptile）的洞察，推导出IDGM的一阶近似方法，命名为Fish，以避免昂贵的二阶导数计算。
• Fish在共享模型上对每个领域执行一次梯度更新，然后将模型更新为这些更新的平均值，从而模仿IDGM目标。
• 使用归一化的梯度内积（余弦相似度）作为代理指标，用于在训练过程中跟踪和验证梯度对齐情况。
• 在Wilds和DomainBed中的多样化数据集上，分别在从头训练和微调设置下应用该方法。
• 为ERM和Fish使用相同的共享数据序列，以确保在梯度内积跟踪方面实现公平比较。

实验结果

研究问题

• RQ1 通过跨领域对齐优化路径，跨域梯度匹配能否提升模型在分布偏移下的泛化能力？
• RQ2 如Fish这样的梯度匹配一阶近似方法，是否能在无需计算Hessian矩阵的情况下，实现与二阶优化相当的性能？
• RQ3 Fish在训练过程中与ERM相比，是否能更好地维持或增强跨领域梯度对齐？
• RQ4 所提出的方法是否能在包括现实世界与合成偏移在内的多样化领域泛化基准上实现泛化？
• RQ5 超参数（如领域数量N）对Fish性能有何影响？

主要发现

• Fish在Wilds和DomainBed基准的13个数据集中实现了最先进性能，展现出广泛的适用性。
• 在Wilds基准上，Fish在CivilComments上达到82.4%的准确率，在FMoW上达到77.7%，优于ERM及其他基线方法。
• 归一化的跨域梯度内积在Fish训练过程中持续增加或保持稳定，而ERM下则下降，证实了梯度对齐的有效性。
• 对于CdSprites-N和Poverty（采用从头训练），梯度内积初始下降但随后恢复，表明对初始化具有鲁棒性。
• 超参数敏感性分析显示，N的不同取值下性能稳定，尽管在Poverty和CivilComments上N=20导致轻微性能下降。
• 该方法有效减少了对虚假特征（如背景）的依赖，并促进了不变特征的学习，如图1所示。