[论文解读] LANCE: Stress-testing Visual Models by Generating Language-guided Counterfactual Images

Viraj Prabhu, Sriram Yenamandra+2 more|arXiv (Cornell University)|May 30, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

LANCE 提出了一种自动化方法，通过生成语言引导的反事实图像来压力测试视觉模型，这些图像会扰动特定视觉属性（例如物体、颜色、背景），同时保持原始标签不变。通过利用大语言模型和文本到图像的扩散模型，LANCE 生成了逼真且多样的测试图像，揭示了预训练模型在 ImageNet 上的模型脆弱性，尤其在检测类别级偏差方面表现出显著且一致的性能下降。

ABSTRACT

We propose an automated algorithm to stress-test a trained visual model by generating language-guided counterfactual test images (LANCE). Our method leverages recent progress in large language modeling and text-based image editing to augment an IID test set with a suite of diverse, realistic, and challenging test images without altering model weights. We benchmark the performance of a diverse set of pre-trained models on our generated data and observe significant and consistent performance drops. We further analyze model sensitivity across different types of edits, and demonstrate its applicability at surfacing previously unknown class-level model biases in ImageNet. Code is available at https://github.com/virajprabhu/lance.

研究动机与目标

• 为了解决在独立同分布（IID）测试集上评估视觉模型时，静态聚合指标（如准确率）的局限性，这些指标无法检测模型对特定视觉扰动的脆弱性。
• 通过生成动态、模型特定的测试集来克服现有分布外（OOD）基准的静态特性，以探测真实世界中的鲁棒性。
• 通过在视觉属性上进行语言引导干预，自动化发现模型偏差，生成逼真且多样的反事实图像。
• 提供一种可扩展、非侵入性的方法，以评估模型在无需微调的情况下对不同类型视觉编辑的敏感性。
• 通过隔离一致的干预措施，揭示 ImageNet 中此前未知的类别级偏差。

提出的方法

• 使用图像字幕模型生成输入图像及其真实标签的自然语言描述。
• 微调大语言模型（LLM），以生成对单一视觉属性（如主体、对象、形容词、领域、背景）的逼真、语义连贯的扰动，同时保持真实类别不变。
• 利用带有空文本反演和提示引导编辑的文本到图像扩散模型，基于原始图像和编辑后的字幕生成反事实图像。
• 通过自动检查与平衡机制确保图像的真实感和编辑保真度，包括标签一致性验证和质量过滤。
• 通过在原始图像和生成的反事实图像上评估模型性能，计算平均准确率下降作为敏感性的度量。
• 通过人工评估图像的逼真度、编辑成功率、保真度、标签一致性以及伦理问题，以验证生成图像的质量与安全性。

Figure 1 : The predominant paradigm in computer vision is to benchmark trained models on IID test sets using aggregate metrics such as accuracy, which does not adequately vet models for deployment, e.g. for the test image above, while a trained ResNet-50 model [ 1 ] accurately predicts the ground tr

实验结果

研究问题

• RQ1 LANCE 在生成逼真且多样的反事实图像以压力测试视觉模型方面的有效性如何？
• RQ2 当预训练视觉模型暴露于语言引导的反事实编辑时，其性能下降的程度有多大？
• RQ3 哪些类型的视觉扰动（如物体、颜色、背景）最显著地降低模型性能？
• RQ4 LANCE 是否能够揭示通过标准评估无法检测到的 ImageNet 中此前未知的类别级偏差？
• RQ5 与现有基线方法相比，生成的反事实图像在逼真度和编辑质量方面表现如何？

主要发现

• 在人工评估中，LANCE 生成的反事实图像平均逼真度得分为 4.2（满分 5），表明其具有较高的感知质量。
• 编辑成功率平均为 3.7（满分 5），其中背景编辑表现最低，主要由于区域定位不准确。
• 图像保真度较高，平均得分为 4.5（满分 5），表明变化相关且定位准确。
• 在 95% 的情况下保持了标签一致性，证实生成图像对原始标签仍具合理性。
• 仅 2% 的生成图像引发伦理担忧，主要源于文本到图像生成中出现的刻板或偏见性表征。
• 在多种模型上均观察到显著且一致的性能下降，揭示了 ImageNet 中此前未被发现的类别级偏差，尤其在特定属性扰动下更为明显。

Figure 2 : Overview. We propose a method to generate challenging counterfactual examples to stress-test a given visual model. Given a trained model and test set, LANCE generates a textual description (from a captioning model) and perturbed caption (using a large language model (LLM)), which is fed a