[论文解读] Extending the WILDS Benchmark for Unsupervised Adaptation

Shiori Sagawa, Pang Wei Koh+18 more|arXiv (Cornell University)|Dec 9, 2021

AI in cancer detection被引用 12

一句话总结

本论文提出了 Wilds 2.0，作为 Wilds 基准的扩展版本，新增了跨越八个多样化真实世界数据集（涵盖组织病理学、野生动物、农业和自然语言处理）的1450万条精心筛选的无标签样本，同时保留了原始的有标签划分和评估协议。尽管拥有大量无标签数据，最先进的无监督自适应方法仍表现出有限的性能提升，凸显了在真实分布偏移场景下泛化能力的挑战，远超于合成或风格化领域偏移的情形。

ABSTRACT

Machine learning systems deployed in the wild are often trained on a source distribution but deployed on a different target distribution. Unlabeled data can be a powerful point of leverage for mitigating these distribution shifts, as it is frequently much more available than labeled data and can often be obtained from distributions beyond the source distribution as well. However, existing distribution shift benchmarks with unlabeled data do not reflect the breadth of scenarios that arise in real-world applications. In this work, we present the WILDS 2.0 update, which extends 8 of the 10 datasets in the WILDS benchmark of distribution shifts to include curated unlabeled data that would be realistically obtainable in deployment. These datasets span a wide range of applications (from histology to wildlife conservation), tasks (classification, regression, and detection), and modalities (photos, satellite images, microscope slides, text, molecular graphs). The update maintains consistency with the original WILDS benchmark by using identical labeled training, validation, and test sets, as well as the evaluation metrics. On these datasets, we systematically benchmark state-of-the-art methods that leverage unlabeled data, including domain-invariant, self-training, and self-supervised methods, and show that their success on WILDS is limited. To facilitate method development and evaluation, we provide an open-source package that automates data loading and contains all of the model architectures and methods used in this paper. Code and leaderboards are available at https://wilds.stanford.edu.

研究动机与目标

• 为现有基准在合成或风格化分布偏移方面研究不足的问题提供解决方案，聚焦于真实世界的数据分布偏移。
• 通过整合在实际部署场景中可真实获取的无标签数据，提升分布偏移基准的真实感与实际应用价值。
• 利用精心筛选的无标签数据，评估最先进的无监督自适应方法在更广泛真实世界分布偏移场景下的有效性。
• 提供一个标准化、开源的平台，用于在多样化任务、模态和领域之间，进行无监督自适应方法的训练、评估与比较。

提出的方法

• 在原始 Wilds 的十个数据集中的八个基础上，通过来自源域、目标域及额外域的精心筛选无标签数据进行扩展，同时保持相同的有标签划分和评估指标。
• 与 Wilds 1.0 保持一致，复用相同的有标签训练集、验证集和测试集，确保实验间的公平比较。
• 提供开源的数据加载器，并与现有 Wilds 库 API 集成，支持在模型训练和评估中无缝使用无标签数据。
• 在扩展后的数据集上实现并评估标准无监督自适应方法，包括领域不变性训练、自训练和自监督学习。
• 针对每个数据集采用定制化的数据增强和批量归一化策略，并对有标签与无标签批次分别进行归一化处理。
• 通过将有标签与无标签数据合并以模拟完全有标签的 ERM 训练，开展消融研究，揭示当前方法的局限性。

实验结果

研究问题

• RQ1 当应用于具有真实无标签数据的真实世界分布偏移时，最先进的无监督自适应方法效果如何？
• RQ2 在源域、目标域及额外域中引入无标签数据，在多大程度上能提升模型在多样化真实世界任务中的泛化能力？
• RQ3 在合成或风格化领域偏移（如照片转素描）中表现良好的方法，是否能泛化到具有复杂非线性偏移的真实世界数据分布？
• RQ4 当应用于大规模、真实无标签数据时，标准自监督或自训练方法是否能显著提升模型在分布外泛化上的性能？
• RQ5 无标签数据的规模与分布（如目标域与额外域）在多大程度上影响模型性能与鲁棒性？

主要发现

• 尽管增加了最多13倍的无标签数据，最先进的无监督自适应方法在 Wilds 2.0 上仍表现出有限的性能提升，表明其性能受限于真实世界分布偏移的复杂性。
• 在 Amazon-wilds 上，将有标签与无标签数据合并后进行完全有标签的 ERM 训练，平均准确率达到 73.6%（±0.1），第10百分位准确率为 56.4%（±0.8），表明无标签数据带来的增益有限。
• 在 Amazon-wilds 上使用额外域的无标签数据（比目标数据多10倍）仅导致性能轻微下降（平均准确率 73.1%），表明仅增加数据量不足以实现性能提升。
• 在 iWildCam2020-wilds 上，使用额外域的无标签数据（710,668 个样本）训练收敛所需参数量是原来的两倍，表明由于领域偏移和数据异质性，训练复杂度显著增加。
• 在 FMoW-wilds 上，使用无标签目标域数据（173,208 个样本）仅带来微小增益，且无任何方法在性能上显著超越标准 ERM，凸显了真实世界自适应的困难性。
• 结果表明，即使拥有大量无标签数据，当前的无监督自适应方法对真实世界分布偏移的全谱系仍不具备鲁棒性。