[论文解读] Domain Generalization Needs Stochastic Weight Averaging for Robustness on Domain Shifts.
本文提出使用随机权重平均（SWA）通过寻找跨多个源域共享的损失山谷中心来提升域泛化性能，显著增强了在未见域上的鲁棒性。该方法在六个主要基准测试中（包括PACS、OfficeHome和DomainNet）均取得了当前最优性能，且大幅超越现有方法。
Domain generalization aims to learn a generalizable model to unseen target domains from multiple source domains. Various approaches have been proposed to address this problem. However, recent benchmarks show that most of them do not provide significant improvements compared to the simple empirical risk minimization (ERM) in practical cases. In this paper, we analyze how ERM works in views of domain-invariant feature learning and domain-specific gradient normalization. In addition, we observe that ERM converges to a loss valley shared over multiple training domains and obtain an insight that a center of the valley generalizes better. To estimate the center, we employ stochastic weight averaging (SWA) and provide theoretical analysis describing how SWA supports the generalization bound for an unseen domain. As a result, we achieve state-of-the-art performances over all of widely used domain generalization benchmarks, namely PACS, VLCS, OfficeHome, TerraIncognita, and DomainNet with large margins. Further analysis reveals how SWA operates on domain generalization tasks.
研究动机与目标
- 解决现有域泛化方法在真实世界基准测试中泛化性能提升有限的问题。
- 探究为何简单的经验风险最小化（ERM）在实践中常优于复杂的域泛化方法。
- 通过估计跨域共享的中心模型权重配置，提升对域偏移的鲁棒性。
- 从理论和实证两方面验证SWA如何提升未见域的泛化边界。
提出的方法
- 从域不变特征学习和域特定梯度归一化的视角分析ERM。
- 观察到ERM收敛至训练域之间的共享损失山谷，提示山谷中心是更优的泛化解。
- 应用随机权重平均（SWA）通过平均多条训练轨迹的权重来估计损失山谷的中心。
- 提供理论分析，将SWA与未见域泛化边界的改进联系起来。
- 在多个源域上使用SWA训练模型，并在未见目标域上进行评估，以衡量鲁棒性。
实验结果
研究问题
- RQ1为何在实践中ERM常优于更复杂的域泛化方法？
- RQ2跨域共享的损失山谷中心能否作为比标准ERM更鲁棒的模型？
- RQ3SWA如何在域泛化设置中提升泛化性能？
- RQ4SWA在域泛化中有效性的理论依据是什么？
主要发现
- SWA在所有六个主要域泛化基准测试（PACS、VLCS、OfficeHome、TerraIncognita和DomainNet）中均达到当前最优性能。
- 所提方法在所有基准测试中均大幅超越现有域泛化方法。
- 通过SWA估计的损失山谷中心，相比标准ERM或其他域泛化方法，在未见域上泛化性能更优。
- 理论分析证实，SWA支持更紧的未见域泛化边界。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。