[论文解读] An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation

Ziquan Liu, Yi Xu+6 more|arXiv (Cornell University)|May 25, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文首次对预训练和数据增强在图像分类中对分布偏移鲁棒性的影响进行了全面的实证研究。研究发现，结合精心选择的预训练模型，使用适当数据增强的经验风险最小化（ERM）可实现最先进性能；而针对特定偏移类型的专用算法（如GroupDRO和CORAL）可进一步提升鲁棒性。

ABSTRACT

The performance of machine learning models under distribution shift has been the focus of the community in recent years. Most of current methods have been proposed to improve the robustness to distribution shift from the algorithmic perspective, i.e., designing better training algorithms to help the generalization in shifted test distributions. This paper studies the distribution shift problem from the perspective of pre-training and data augmentation, two important factors in the practice of deep learning that have not been systematically investigated by existing work. By evaluating seven pre-trained models, including ResNets and ViT's with self-supervision and supervision mode, on five important distribution-shift datasets, from WILDS and DomainBed benchmarks, with five different learning algorithms, we provide the first comprehensive empirical study focusing on pre-training and data augmentation. With our empirical result obtained from 1,330 models, we provide the following main observations: 1) ERM combined with data augmentation can achieve state-of-the-art performance if we choose a proper pre-trained model respecting the data property; 2) specialized algorithms further improve the robustness on top of ERM when handling a specific type of distribution shift, e.g., GroupDRO for spurious correlation and CORAL for large-scale out-of-distribution data; 3) Comparing different pre-training modes, architectures and data sizes, we provide novel observations about pre-training on distribution shift, which sheds light on designing or selecting pre-training strategy for different kinds of distribution shifts. In summary, our empirical study provides a comprehensive baseline for a wide range of pre-training models fine-tuned with data augmentation, which potentially inspires research exploiting the power of pre-training and data augmentation in the future of distribution shift study.

研究动机与目标

• 研究预训练和数据增强对真实世界数据分布偏移下模型鲁棒性的影响。
• 评估不同预训练方式（监督式与自监督式）、模型架构（ResNet与ViT）以及数据规模（ImageNet-1k与ImageNet-21k）对下游性能的影响。
• 评估不同学习算法（ERM、GroupDRO、CORAL）及数据增强技术在多种分布偏移类型下的有效性。
• 为实践者提供可操作的见解与最佳实践，以选择预训练模型与训练策略，提升在分布偏移场景下的鲁棒性。

提出的方法

• 在ImageNet-1k和ImageNet-21k上评估了七种预训练模型（ResNets与ViTs）的监督式与自监督式预训练。
• 在WILDS和DomainBed的五个分布偏移基准数据集上进行微调：Waterbirds（虚假相关性）、FMoW（子群体偏移）、Camelyon、iWildCam和DomainNet（OOD泛化）。
• 应用五种学习算法：ERM、GroupDRO、CORAL，以及两种数据增强策略（标准mixup与群体感知mixup）。
• 在所有模型、数据集、算法与增强方法的组合下，训练并评估了1,330种独特的模型配置。
• 使用标准指标：加权准确率（WG Acc）、平均准确率（Avg. Acc）、OOD准确率，以及OOD与ID泛化的宏F1分数。
• 通过分析模型架构、预训练数据规模与算法选择下的性能趋势，推导出提升鲁棒性的设计原则。

实验结果

研究问题

• RQ1 预训练模型的选择（架构、预训练方式、数据规模）如何影响对不同类型分布偏移的鲁棒性？
• RQ2 ERM结合数据增强在分布偏移泛化方面，能在多大程度上匹配或超越GroupDRO和CORAL等专用算法？
• RQ3 在预训练数据有限的情况下，自监督与监督式预训练在分布偏移下的性能表现如何比较？
• RQ4 在不同偏移类型与数据集规模下，哪种学习算法——ERM、GroupDRO、CORAL或数据增强——表现最佳？
• RQ5 在真实世界分布偏移场景中，如何选择预训练模型与训练策略以最大化鲁棒性？

主要发现

• 当与精心选择的预训练模型结合时，ERM配合数据增强在所有五个分布偏移数据集上均达到最先进性能，Waterbirds上最佳测试准确率达92.6%，FMoW上达94.1%。
• GroupDRO在小规模数据集（如Waterbirds与Camelyon）上表现优于其他算法，分别达到91.4%与90.6%的准确率，表明其在数据有限时处理虚假相关性的优势。
• CORAL在大规模数据集（如iWildCam 36.0%与DomainNet 44.2%）上表现强劲，但在小数据集上因特征统计估计不稳定而表现欠佳。
• ViT模型在Waterbirds、FMoW与Camelyon上优于ResNets，尤其在ImageNet-21k上预训练时表现更优，表明细粒度标签有助于缓解虚假相关性。
• 在小规模数据集（如IN-1k）上，自监督预训练（如MoCo-R50）优于监督预训练；但在大规模数据集（如IN-21k）上，监督预训练整体表现更优，鲁棒性更强。
• 在所有偏移类型下，使用更大规模数据集（如ImageNet-21k）进行预训练均能持续提升下游性能，验证了更大规模预训练可增强分布偏移泛化能力。