[论文解读] Ensemble of Averages: Improving Model Selection and Boosting Performance in Domain Generalization

Devansh Arpit, Huan Wang+2 more|arXiv (Cornell University)|Oct 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 47

一句话总结

论文提出了一种简单的移动平均模型协议（SMA）和一个移动平均模型集成（EoA），以提升领域泛化、稳定跨域表现并在不进行超参数调优的情况下提高模型选择的可靠性。结果显示，EoA 在 DomainBed 基准上优于 ERM 基线和现有 DG 方法，并提供理论上的偏差-方差洞见。

ABSTRACT

In Domain Generalization (DG) settings, models trained independently on a given set of training domains have notoriously chaotic performance on distribution shifted test domains, and stochasticity in optimization (e.g. seed) plays a big role. This makes deep learning models unreliable in real world settings. We first show that this chaotic behavior exists even along the training optimization trajectory of a single model, and propose a simple model averaging protocol that both significantly boosts domain generalization and diminishes the impact of stochasticity by improving the rank correlation between the in-domain validation accuracy and out-domain test accuracy, which is crucial for reliable early stopping. Taking advantage of our observation, we show that instead of ensembling unaveraged models (that is typical in practice), ensembling moving average models (EoA) from independent runs further boosts performance. We theoretically explain the boost in performance of ensembling and model averaging by adapting the well known Bias-Variance trade-off to the domain generalization setting. On the DomainBed benchmark, when using a pre-trained ResNet-50, this ensemble of averages achieves an average of $68.0\%$, beating vanilla ERM (w/o averaging/ensembling) by $\sim 4\%$, and when using a pre-trained RegNetY-16GF, achieves an average of $76.6\%$, beating vanilla ERM by $6\%$. Our code is available at https://github.com/salesforce/ensemble-of-averages.

研究动机与目标

• 研究为何优化动态在 DG 中的域内与域外性能之间导致混沌性差异。
• 提出一种简单的、无超参数的移动平均协议，以稳定并提升 DG 性能。
• 证明移动平均模型集成（EoA）相较于传统集成还能带来进一步提升。
• 通过将偏差-方差分解应用于领域泛化，提供理论洞见。
• 在 DomainBed 上针对多种骨干网，将 SMA 和 EoA 与 ERM 及最先进的 DG 方法进行基准测试。

提出的方法

• 在训练过程中定义在线（未求平均）模型和移动平均（MA）模型。
• 提出尾部平均：在经过 t0 次迭代后开始 SMA，并一直维持到结束，在验证和测试中使用 SMA。
• 证明 SMA 提高域内验证准确率与域外测试准确率之间的排序相关性，从而实现更可靠的模型选择。
• 证明移动平均模型的集合（EoA）在性能上优于未平均模型的集合。
• 提供基于偏差-方差的理论依据，解释为何平均/集成能够降低域外误差。
• 在 DomainBed 数据集上，用三种预训练骨干网络（ResNet-50、ResNeXt-50 32x4d、RegNetY-16GF）进行基准测试。

实验结果

研究问题

• RQ1 无超参数的移动平均协议（SMA）是否能够减少域外不稳定性并在 DG 中实现更可靠的早停？
• RQ2 在 DG 基准测试中，移动平均模型集成（EoA）是否能超越在线模型集成和单模型？
• RQ3 偏差-方差视角如何适应 DG 以解释模型平均和集成带来的收益？
• RQ4 更大规模的预训练模型和数据集是否会放大 SMA 和 EoA 在 DG 中的收益？
• RQ5 SMA 如何影响跨数据集域内验证与域外测试性能之间的排序相关性？

主要发现

• SMA 提高了域内验证准确性与域外测试准确性之间的排序相关性，有助于更可靠的模型选择。
• 在多个数据集和骨干架构上，EoA 始终优于未平均模型的集合。
• 在 DomainBed 上，使用 ImageNet 预训练的 ResNet-50，EoA 的平均准确率为 68.0，ERM 为 64.0，超越 SWAD 1.1 个百分点。
• 使用 ResNeXt-50 32x4d 时，EoA 达到 72.7 平均值，而 ERM 为 67.7，展示了在更大/预训练模型上的更大收益。
• 在 RegNetY-16GF 上，EoA 达到 76.6 平均值，而 ERM 为 70.6，表明随着模型规模和预训练的增大，改进显著。
• 理论框架将收益与 DG 中偏差主导的集成结果联系起来，与平坦极小值解释形成对比。