[论文解读] ImageNet-X: Understanding Model Mistakes with Factor of Variation Annotations

Badr Youbi Idrissi, Diane Bouchacourt+8 more|arXiv (Cornell University)|Nov 3, 2022

Adversarial Robustness in Machine Learning被引用 11

一句话总结

ImageNet-X 为 ImageNet-1k 验证集和 12,000 张训练图像子集引入了人工标注的可变因素，如姿态、光照、背景和纹理。利用这些标注，作者分析了 2,200 个模型，发现不同架构和训练范式下存在一致的失败模式，数据增强在提升对某些因素的鲁棒性的同时，却会损害对其他因素的鲁棒性，凸显了对数据和增强方法理解的迫切需求。

ABSTRACT

Deep learning vision systems are widely deployed across applications where reliability is critical. However, even today's best models can fail to recognize an object when its pose, lighting, or background varies. While existing benchmarks surface examples challenging for models, they do not explain why such mistakes arise. To address this need, we introduce ImageNet-X, a set of sixteen human annotations of factors such as pose, background, or lighting the entire ImageNet-1k validation set as well as a random subset of 12k training images. Equipped with ImageNet-X, we investigate 2,200 current recognition models and study the types of mistakes as a function of model's (1) architecture, e.g. transformer vs. convolutional, (2) learning paradigm, e.g. supervised vs. self-supervised, and (3) training procedures, e.g., data augmentation. Regardless of these choices, we find models have consistent failure modes across ImageNet-X categories. We also find that while data augmentation can improve robustness to certain factors, they induce spill-over effects to other factors. For example, strong random cropping hurts robustness on smaller objects. Together, these insights suggest to advance the robustness of modern vision models, future research should focus on collecting additional data and understanding data augmentation schemes. Along with these insights, we release a toolkit based on ImageNet-X to spur further study into the mistakes image recognition systems make.

研究动机与目标

• 为了理解尽管准确率很高，最先进的视觉模型为何在 ImageNet 上仍会失败，特别是由于分布内变化导致的失败。
• 识别最常导致模型错误的具体因素，如姿态、光照或遮挡。
• 评估架构选择、学习范式和数据增强策略对这些因素鲁棒性的影响。
• 提供一个细粒度的人工标注基准，用于诊断和衡量超越平均准确率的模型失败。
• 为未来研究提供支持，通过改进数据收集和增强设计来提升模型鲁棒性。

提出的方法

• 在 16 种可变因素（包括姿态、背景、光照、颜色、纹理和遮挡）上，对 1,000 张验证图像和 12,000 张训练图像进行人工标注。
• 采用对比标注方案，标注者将样本图像与同一类别中的三张典型图像进行比较，以识别差异。
• 将图像按不同的可变因素（FoV）分组，以评估模型在每个因素上的表现，实现细粒度的鲁棒性分析。
• 在多种架构、学习范式（监督学习、自监督学习）和数据增强策略下，训练并评估 2,200 个视觉模型。
• 计算相对于整体准确率的错误率，以量化每种因素下的模型失败率，实现跨模型比较。
• 使用统计检验（如 Alexander-Govern 检验）评估不同模型组之间失败模式差异的显著性。

实验结果

研究问题

• RQ1 哪些可变因素（如姿态、光照或遮挡）最常导致 ImageNet 中的模型失败？
• RQ2 模型架构和学习范式在多大程度上影响对特定可变因素的鲁棒性？
• RQ3 常用数据增强技术在提升对目标因素鲁棒性的同时，对无关因素的影响程度如何？
• RQ4 在不同数据规模、架构或正则化方法下训练的模型，其失败模式是否一致？
• RQ5 ImageNet 训练集和验证集中的可变因素分布如何比较，这对分布内泛化意味着什么？

主要发现

• 不同架构、学习范式和训练流程的模型均表现出一致的失败模式，其中纹理、子类别（如狗的品种）和遮挡是最常见的错误原因。
• 数据增强能提升对目标因素的鲁棒性（如色彩抖动可提升对颜色和亮度的鲁棒性），但可能损害对无关因素（如姿态）的性能，表明存在副作用。
• 裁剪操作可提升对姿态和部分视图的鲁棒性，但会负面影响对图案、背景和纹理的性能，表明存在扩散效应。
• ImageNet 的训练集和验证集在可变因素分布上相似，表明失败模式并非由数据分布偏移引起，而是源于模型固有的脆弱性。
• ImageNet-X 的标注显示，姿态和背景是数据集中最常见的可变因素，部分类别（如狗）的姿态变化比其他类别更高。
• 尽管模型设计和训练方法多样，各因素的错误率仍高度相似，表明当前视觉社区模型存在共享的失败模式。