[论文解读] Discovering Bugs in Vision Models using Off-the-shelf Image Generation and Captioning

Olivia Wiles, Isabela Albuquerque+1 more|arXiv (Cornell University)|Aug 18, 2022

Multimodal Machine Learning Applications被引用 8

一句话总结

本文提出了一种新颖且可扩展的方法，利用现成的文本到图像模型和图像字幕模型，自动发现视觉分类器中的鲁棒性缺陷。通过从类别标签生成合成图像，并利用自然语言描述分析误分类样本，该方法在无需人工数据收集或合成数据集构建的情况下，揭示了人类可理解的故障案例和虚假相关性，实现了对ImageNet模型的高故障检测率。

ABSTRACT

Automatically discovering failures in vision models under real-world settings remains an open challenge. This work demonstrates how off-the-shelf, large-scale, image-to-text and text-to-image models, trained on vast amounts of data, can be leveraged to automatically find such failures. In essence, a conditional text-to-image generative model is used to generate large amounts of synthetic, yet realistic, inputs given a ground-truth label. Misclassified inputs are clustered and a captioning model is used to describe each cluster. Each cluster's description is used in turn to generate more inputs and assess whether specific clusters induce more failures than expected. We use this pipeline to demonstrate that we can effectively interrogate classifiers trained on ImageNet to find specific failure cases and discover spurious correlations. We also show that we can scale the approach to generate adversarial datasets targeting specific classifier architectures. This work serves as a proof-of-concept demonstrating the utility of large-scale generative models to automatically discover bugs in vision models in an open-ended manner. We also describe a number of limitations and pitfalls related to this approach.

研究动机与目标

• 解决在真实世界分布偏移下，识别视觉分类器鲁棒性缺陷的挑战，而无需依赖人工整理的数据集。
• 利用预训练的生成模型，实现开放式的、可扩展的视觉模型故障案例发现。
• 通过在误分类输入上使用字幕模型，提供人类可理解的、自然语言解释的模型故障原因。
• 证明所发现的故障模式在不同生成模型和真实图像之间具有泛化能力。
• 通过迭代修改文本描述，实现对故障的反事实分析，以探测模型行为的根本原因。

提出的方法

• 利用预训练的文本到图像模型，基于给定类别标签生成多样化且逼真的图像，构建用于评估的合成数据集。
• 使用预训练的视觉-语言字幕模型，为误分类图像生成自然语言描述，捕捉引发错误的语义内容。
• 构建反馈循环：利用字幕描述生成新图像并测量故障率，识别高风险的文本概念。
• 将故障率计算为：模型将由特定描述生成的图像误分类的期望概率，相对于仅基于类别标签的基线概率。
• 根据字幕描述对误分类图像进行聚类与分析，识别重复出现的故障模式与虚假相关性。
• 通过人工或自动方式迭代优化描述，执行反事实分析，以探究故障的根本原因。

实验结果

研究问题

• RQ1 是否可以利用现成的文本到图像和字幕模型，在不收集新数据的情况下，自动发现视觉分类器中的故障案例？
• RQ2 所发现的故障案例是否在不同生成模型和真实图像之间具有泛化能力？
• RQ3 对误分类图像的自然语言描述是否能提供人类可理解的模型故障解释？
• RQ4 该方法能够揭示哪些类型的虚假相关性或捷径学习行为？
• RQ5 该方法在识别多样化ImageNet类别中的鲁棒性缺陷方面，其可扩展性与有效性如何？

主要发现

• 该方法成功在ResNet-50和视觉Transformer模型上发现了ImageNet中的故障案例，特定文本描述下的故障率显著高于仅基于类别标签的基线预期。
• 通过字幕与图像生成发现的故障模式可泛化至通过Google图像搜索获取的真实图像，验证了其在现实世界中的相关性。
• 该方法揭示了虚假相关性，例如模型在“robin”与“eft”之间混淆，或在“bee”与“soap dispenser”之间混淆，这些与视觉和语义相似性相关。
• 故障检测流水线表现出高可扩展性，无需人工数据整理即可生成针对特定模型架构的大规模对抗性数据集。
• 人类可理解的故障描述使反事实分析成为可能，揭示了提示的微小变化可显著改变模型预测结果。
• 与基线方法相比，该方法在故障发现方面表现更优，且无需领域特定的数据收集或专家设计的对抗性样本。