[论文解读] MetaShift: A Dataset of Datasets for Evaluating Contextual Distribution Shifts and Training Conflicts

Weixin Liang, James Zou|arXiv (Cornell University)|Feb 14, 2022

Cell Image Analysis Techniques被引用 13

一句话总结

MetaShift 提出一个大规模、结构化的基准，包含跨 410 个类别的 12,868 个自然图像子集，通过使用上下文元数据对 Visual Genome 图像进行聚类，以建模多样的数据分布偏移。该基准提供每个子集的明确标注，说明其独特性，并计算分布偏移距离分数，从而实现对模型鲁棒性的评估以及训练冲突的可视化；结果表明，在中等程度偏移下，经验风险最小化表现最佳，而在大偏移下，没有方法能持续优于其他方法。

ABSTRACT

Understanding the performance of machine learning models across diverse data distributions is critically important for reliable applications. Motivated by this, there is a growing focus on curating benchmark datasets that capture distribution shifts. While valuable, the existing benchmarks are limited in that many of them only contain a small number of shifts and they lack systematic annotation about what is different across different shifts. We present MetaShift--a collection of 12,868 sets of natural images across 410 classes--to address this challenge. We leverage the natural heterogeneity of Visual Genome and its annotations to construct MetaShift. The key construction idea is to cluster images using its metadata, which provides context for each image (e.g. "cats with cars" or "cats in bathroom") that represent distinct data distributions. MetaShift has two important benefits: first, it contains orders of magnitude more natural data shifts than previously available. Second, it provides explicit explanations of what is unique about each of its data sets and a distance score that measures the amount of distribution shift between any two of its data sets. We demonstrate the utility of MetaShift in benchmarking several recent proposals for training models to be robust to data shifts. We find that the simple empirical risk minimization performs the best when shifts are moderate and no method had a systematic advantage for large shifts. We also show how MetaShift can help to visualize conflicts between data subsets during model training.

研究动机与目标

• 为现有基准中缺乏系统性、细粒度的数据分布偏移标注提供解决方案。
• 构建一个大规模、结构化的数据集，以捕捉真实世界情境下自然且异质的数据分布。
• 在受控的、可调节的分布偏移条件下，实现对模型性能和训练动态的评估。
• 可视化并分析模型优化过程中不同数据子集之间的冲突训练信号。
• 提供一个可重用的框架，用于利用现有元数据在其他领域构建类似的基准。

提出的方法

• 利用 Visual Genome 数据集及其丰富的元数据（如对象、属性、场景上下文）来定义图像聚类，代表不同的数据分布。
• 基于元数据聚类将图像划分为 12,868 个一致的子集，每个子集对应一种独特的上下文分布（例如，'猫与车'、'狗在长椅上'）。
• 为每个子集标注其独特性的明确描述（例如，特定对象或场景的存在）。
• 基于元数据和视觉特征学习的度量，计算任意两个子集之间的分布偏移距离分数。
• 利用子集成员信息在训练过程中追踪梯度更新，并分析子集间的训练冲突。
• 将该基准应用于评估领域自适应和子群体偏移设置，使用 DomainBed 等标准基线方法。

实验结果

研究问题

• RQ1 在不同自然分布偏移程度下，不同的鲁棒学习算法表现如何？
• RQ2 我们能否系统性地量化并可视化不同上下文下数据子集之间的冲突训练信号？
• RQ3 经验风险最小化在中等与大分布偏移下是否仍具竞争力？
• RQ4 哪些数据子集对模型泛化贡献最大或最小，原因是什么？
• RQ5 MetaShift 能否揭示训练过程中引入的偏差或虚假相关性，例如对室内/室外场景的依赖？

主要发现

• 在中等分布偏移下，经验风险最小化（ERM）表现最佳，表明其在现实场景中仍是强有力的基线方法。
• 在大分布偏移下，没有单一的鲁棒学习方法能持续优于其他方法，表明领域自适应仍是重大挑战。
• 在共享虚假特征的子集之间普遍存在训练冲突——例如，室内猫和室内狗子集因共享室内场景而产生冲突，迫使模型学习更具泛化性的特征。
• 训练贡献较低的子集（如 'cat( faucet)' 和 'dog( frisbee)'）通常过于简单，表现为作为域外验证集时准确率接近完美（分别为 98.1% 和 96.6%）。
• 模型在相似子集间表现出显著不同的行为——例如，'dog( truck)' 与所有其他狗子集产生冲突，表明学习信号存在高度不一致性。
• 训练冲突的可视化显示，某些子集（如户外狗图像）从在室内子集上训练中获益，远胜于从其他户外子集训练，凸显了冲突信号在提升泛化能力中的作用。