[论文解读] COCO-Counterfactuals: Automatically Constructed Counterfactual Examples for Image-Text Pairs

Tiep Le, Vasudev Lal+1 more|arXiv (Cornell University)|Sep 23, 2023

Topic Modeling被引用 5

一句话总结

本文提出了 COCO-Counterfactuals，一种利用文本到图像扩散模型自动生成多模态反事实图像-文本对的可扩展框架。通过使用 Stable Diffusion 对字幕进行编辑，并以最小且有针对性的改动生成对应图像，该方法构建了一个稳健的数据集，可挑战当前最先进的视觉-语言模型，并在用于数据增强时提升其分布外（OOD）泛化能力。

ABSTRACT

Counterfactual examples have proven to be valuable in the field of natural language processing (NLP) for both evaluating and improving the robustness of language models to spurious correlations in datasets. Despite their demonstrated utility for NLP, multimodal counterfactual examples have been relatively unexplored due to the difficulty of creating paired image-text data with minimal counterfactual changes. To address this challenge, we introduce a scalable framework for automatic generation of counterfactual examples using text-to-image diffusion models. We use our framework to create COCO-Counterfactuals, a multimodal counterfactual dataset of paired image and text captions based on the MS-COCO dataset. We validate the quality of COCO-Counterfactuals through human evaluations and show that existing multimodal models are challenged by our counterfactual image-text pairs. Additionally, we demonstrate the usefulness of COCO-Counterfactuals for improving out-of-domain generalization of multimodal vision-language models via training data augmentation.

研究动机与目标

• 解决当前缺乏可扩展、高质量的多模态反事实数据集以评估和改进视觉-语言模型的问题。
• 克服手动创建仅针对因果特征进行最小、隔离性修改的成对图像-文本反事实的困难。
• 开发一种自动化流水线，利用文本到图像扩散模型生成语义一致、仅含最小编辑的反事实样本。
• 验证生成的反事实样本在挑战现有模型并提升其零样本及分布外泛化能力方面的有效性。
• 发布公开可用的数据集与代码库，以支持未来在鲁棒、可泛化多模态学习方面的研究。

提出的方法

• 该方法使用现有的 MS-COCO 字幕，并施加最小且语义上有意义的编辑，以改变因果属性（例如，改变物体颜色或存在性），同时保持其他特征不变。
• 利用带有交叉注意力控制的 Stable Diffusion 生成仅反映编辑后属性的图像，确保视觉扰动最小化。
• 通过同时基于原始字幕和编辑后版本进行图像生成，确保字幕编辑与图像编辑之间的一致性。
• 通过人工评估验证反事实对的语义一致性以及与原始图像的最小视觉偏差。
• 该框架被大规模应用，生成了 COCO-Counterfactuals 数据集，包含 10,000 对带有受控、隔离性变化的图像-文本样本。
• 该数据集通过 Hugging Face 和 GitHub 以 CC BY 4.0 许可发布，供公众使用与扩展。

实验结果

研究问题

• RQ1 能否利用带有受控编辑的文本到图像扩散模型，实现多模态反事实的自动化、可扩展生成？
• RQ2 生成的反事实样本在挑战当前最先进视觉-语言模型鲁棒性方面的有效性如何？
• RQ3 在 COCO-Counterfactuals 上微调 CLIP 能在多大程度上提升其零样本和分布外泛化性能？
• RQ4 自动化生成过程引入的主要局限性和偏差是什么，特别是那些源自底层扩散模型的？
• RQ5 COCO-Counterfactuals 是否可作为有效的数据增强策略，以提升模型在多样化评估基准上的鲁棒性？

主要发现

• 人工评估确认，COCO-Counterfactuals 保持了较高的语义与视觉质量，非目标特征的非预期变化极小。
• 最先进的多模态模型（包括 CLIP）在 COCO-Counterfactuals 上的表现显著低于在标准 MS-COCO 上的表现，表明反事实样本具有足够挑战性。
• 在 COCO-Counterfactuals 上微调 CLIP 后，其在多个分布外（OOD）基准（包括 Hateful Memes 和 VQA-CP）上的零样本性能得到提升。
• 该数据集在分布偏移和偏差鲁棒性基准上表现出显著的泛化增益，证实其在数据增强中的实用性。
• 尽管使用了 Stable Diffusion，该数据集对常见生成伪影（如手部或物体计数错误）表现出相对鲁棒性，但部分偏差仍存在。
• 该数据集以 CC BY 4.0 许可通过 Hugging Face 和 GitHub 公开发布，支持社区使用、扩展与进一步研究。