[论文解读] Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets

Brandon M. Smith, Miguel Farinha+4 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种合成数据流水线，通过从 COCO 中生成性别平衡的对比集合来减轻视觉-语言数据集的偏差，其中仅编辑主体的性别，同时保留背景上下文。通过基于 KNN 的过滤方法确保图像质量，作者表明真实数据集中由虚假相关性引起的偏差度量（如 Bias@K）存在偏差，并证明性别平衡的合成数据可使基于 CLIP 的模型获得更可靠的偏差评估。

ABSTRACT

Vision-language models are growing in popularity and public visibility to generate, edit, and caption images at scale; but their outputs can perpetuate and amplify societal biases learned during pre-training on uncurated image-text pairs from the internet. Although debiasing methods have been proposed, we argue that these measurements of model bias lack validity due to dataset bias. We demonstrate there are spurious correlations in COCO Captions, the most commonly used dataset for evaluating bias, between background context and the gender of people in-situ. This is problematic because commonly-used bias metrics (such as Bias@K) rely on per-gender base rates. To address this issue, we propose a novel dataset debiasing pipeline to augment the COCO dataset with synthetic, gender-balanced contrast sets, where only the gender of the subject is edited and the background is fixed. However, existing image editing methods have limitations and sometimes produce low-quality images; so, we introduce a method to automatically filter the generated images based on their similarity to real images. Using our balanced synthetic contrast sets, we benchmark bias in multiple CLIP-based models, demonstrating how metrics are skewed by imbalance in the original COCO images. Our results indicate that the proposed approach improves the validity of the evaluation, ultimately contributing to more realistic understanding of bias in vision-language models.

研究动机与目标

• 识别并解决 COCO 数据集中性别与背景上下文之间的虚假相关性，这些相关性会扭曲视觉-语言模型中的偏差评估。
• 开发一种可扩展、自动化的流水线，从真实图像中生成高质量、性别平衡的合成对比集合，保持场景上下文不变，仅编辑主体的性别。
• 通过消除干扰模型偏差评估的数据集层面不平衡，提高 Bias@K 等偏差度量的有效性。
• 证明在基于 CLIP 的模型中观察到的模型偏差通常源于数据集的人工制品，而非模型本身的内在偏差。
• 引发关于合成数据生成伦理影响的讨论，包括偏差叠加和对性别身份过度简化的风险。

提出的方法

• 该方法使用可控图像编辑模型从 COCO 生成合成图像对，每张图像均被编辑为在相同场景中呈现不同性别的主体。
• 仅修改人物的边界框；背景和场景上下文保持不变，以将性别作为唯一变量隔离。
• 基于 KNN 的过滤流水线在特征空间中将合成图像与真实图像进行比较，以拒绝低质量或不真实的编辑结果。
• 将经过过滤的合成数据集（命名为 GenSynth）用于在多个基于 CLIP 的模型上重新评估偏差度量。
• 该方法通过在固定上下文中实现性别均等表示，实现对性别偏差的受控评估。
• 该流水线避免了人工筛选，实现了视觉-语言数据集的大规模去偏。

Figure 1 : t-SNE clusters ( $M=20$ ) of gender-neutralised caption embeddings. Each cluster is manually assigned a name, then coloured and labelled according to its male over-representation factor. The male over-representation factor is the difference between the percentage of male images in the par

实验结果

研究问题

• RQ1 COCO 中性别与场景上下文之间的虚假相关性在多大程度上扭曲了标准偏差度量（如 Bias@K）？
• RQ2 在固定背景上实现性别代表平衡的合成对比集，是否能提高视觉-语言模型中偏差评估的有效性？
• RQ3 与原始不平衡的 COCO 数据集相比，偏差度量在平衡的合成数据集上如何变化？
• RQ4 在基于 CLIP 的模型中观察到的模型偏差在多大程度上源于数据集偏差，而非模型本身的内在关联？
• RQ5 使用合成数据进行去偏存在哪些风险和局限性，特别是关于分布偏移和偏差传播的问题？

主要发现

• COCO 数据集表现出强烈的性别与背景上下文之间的虚假相关性，这使得标准偏差度量（如 Bias@K）无效。
• 所提出的 GenSynth 合成对比集成功消除了性别与上下文的偏差，使模型公平性评估更加可靠。
• 原始 COCO 数据集中 Bias@K 值因场景上下文中性别代表不平衡而显著偏斜。
• 在平衡的 GenSynth 数据集上评估时，基于 CLIP 的模型在不同性别间表现出相似的偏差分数，表明观察到的差异主要源于数据集的人工制品。
• 基于与真实图像的 KNN 相似度的过滤流水线有效保持了图像质量，并减少了合成数据中的分布偏移。
• 尽管存在局限性，本研究表明合成对比集可作为视觉-语言评估去偏的有效且可扩展的替代方案。

Figure 2 : An overview of our pipeline for dataset debiasing across a target attribute, in this case gender, ensuring equal demographic representation. A source image containing a person is given as input to InstructPix2Pix along with instructions to synthesise each attribute label. The resulting ed