[论文解读] A Fine-Grained Analysis on Distribution Shift

Olivia Wiles, Sven Gowal+5 more|arXiv (Cornell University)|Oct 21, 2021

Machine Learning and Data Classification参考文献 83被引用 4

一句话总结

本文提出一种细粒度框架，系统评估机器学习模型在分布偏移下的鲁棒性，分析了19种方法在合成数据集和真实世界数据集上受控偏移（如虚假相关性、低数据漂移、未见数据偏移）影响下的表现。结果表明，数据增强和预训练相比标准ERM方法有显著提升，但没有单一方法在所有偏移类型和数据集上始终优于其他方法。

ABSTRACT

Robustness to distribution shifts is critical for deploying machine learning models in the real world. Despite this necessity, there has been little work in defining the underlying mechanisms that cause these shifts and evaluating the robustness of algorithms across multiple, different distribution shifts. To this end, we introduce a framework that enables fine-grained analysis of various distribution shifts. We provide a holistic analysis of current state-of-the-art methods by evaluating 19 distinct methods grouped into five categories across both synthetic and real-world datasets. Overall, we train more than 85K models. Our experimental framework can be easily extended to include new methods, shifts, and datasets. We find, unlike previous work~\citep{Gulrajani20}, that progress has been made over a standard ERM baseline; in particular, pretraining and augmentations (learned or heuristic) offer large gains in many cases. However, the best methods are not consistent over different datasets and shifts.

研究动机与目标

• 建立一个系统化、细粒度的框架，用于评估真实世界机器学习应用中对分布偏移的鲁棒性。
• 系统评估最先进方法在多种不同分布偏移和真实世界情境下的表现。
• 确定在处理分布偏移方面，研究进展是否已超越标准ERM，特别是在复杂且真实的设定中。
• 为未来关于鲁棒性和泛化能力的研究提供一个可扩展的评估平台。

提出的方法

• 该框架将分布偏移定义为与任务无关的潜在属性（如颜色、形状）的变化，从而实现对不变性的受控评估。
• 形式化了三种核心分布偏移：虚假相关性（如颜色作为虚假线索）、低数据漂移（罕见属性组合）、未见数据偏移（全新的属性分布）。
• 评估还包含额外条件：标签噪声（模拟人工标注者错误）和不同规模的训练集，以评估数据效率。
• 在五个类别中评估了19种方法：网络架构选择、数据增强、领域泛化、自适应算法和表示学习。
• 在合成数据集（具有受控属性变化）和真实世界数据集（Camelyon17、iWildCam）上训练模型，对初始学习率、权重衰减等关键超参数进行超参数搜索。
• 共训练超过85,000个模型，每个随机种子选取表现最佳的模型用于分布外泛化性能评估。

实验结果

研究问题

• RQ1 在真实世界场景中，哪种分布偏移最严重地损害模型泛化能力？它们能否被系统性地隔离和评估？
• RQ2 现代领域泛化和鲁棒训练方法是否在多种分布偏移和数据集上始终优于标准ERM？
• RQ3 与更复杂的领域泛化算法相比，数据增强和预训练在多大程度上提升了鲁棒性？
• RQ4 标签噪声和训练集规模如何影响不同学习方法的鲁棒性？
• RQ5 是否存在一种方法或策略能在所有类型的分布偏移上都表现良好，还是性能高度依赖于具体的偏移类型和数据集？

主要发现

• 无论采用启发式还是学习得到的数据增强，预训练和数据增强在多种分布偏移和数据集上均显著优于标准ERM。
• 领域泛化方法在特定场景下表现良好，但并非始终更优，表明其有效性高度依赖于偏移类型和数据集特性。
• 没有单一方法在所有分布偏移和数据集上均表现最佳，凸显了缺乏通用鲁棒性解决方案的现状。
• 该框架成功识别出：在某一属性分布（如颜色）上训练的模型，即使任务本身具有不变性，也往往无法泛化到未见的分布或罕见组合。
• 性能对偏移类型极为敏感：虚假相关性和低数据漂移尤其具有挑战性，尤其当与标签噪声结合时更为显著。
• 该评估框架具有可扩展性，支持在不同方法、偏移类型和数据集之间进行直接比较，为未来鲁棒性研究提供了可扩展的基准。