[论文解读] A Prompt Array Keeps the Bias Away: Debiasing Vision-Language Models with Adversarial Learning

Hugo Berg, Siobhan Mackenzie Hall+5 more|arXiv (Cornell University)|Mar 22, 2022

Multimodal Machine Learning Applications被引用 11

一句话总结

本文提出了一种基于提示的对抗性去偏方法，用于视觉-语言模型，通过在文本查询末尾附加可学习的'去偏'标记，联合优化对比损失，以减少图像-文本表征中的性别和种族偏见。该方法在不损害表征质量的前提下，显著降低了多种度量标准（最大偏移量 MaxSkew 和 NDKL）的偏见，仅使用带有属性标签的面部数据集作为监督信号。

ABSTRACT

Vision-language models can encode societal biases and stereotypes, but there are challenges to measuring and mitigating these multimodal harms due to lacking measurement robustness and feature degradation. To address these challenges, we investigate bias measures and apply ranking metrics for image-text representations. We then investigate debiasing methods and show that prepending learned embeddings to text queries that are jointly trained with adversarial debiasing and a contrastive loss reduces various bias measures with minimal degradation to the image-text representation.

研究动机与目标

• 开发一种稳健且高效的视觉-语言模型表征偏见测量与缓解方法。
• 评估现有偏见测量技术，并识别最适合多模态表征的度量方法。
• 解决在不重新训练或无法访问原始预训练数据的情况下实现去偏的挑战。
• 在去偏过程中最小化图像-文本表征质量的退化。
• 提供一种轻量级、可部署的去偏协议，适用于现有预训练模型。

提出的方法

• 引入一个对抗分类器，从图像-文本相似度得分中预测图像属性标签（例如性别、种族）。
• 在敏感文本查询末尾使用可学习的'去偏'提示标记，以最大化对抗分类器的错误率，从而减少偏见相关性。
• 将去偏目标与通用图像-文本对上的对比损失联合优化，以保持表征质量。
• 仅使用图像属性标签作为监督信号，避免昂贵的重新训练或对原始训练数据的访问。
• 在带有受保护属性标注的面部数据集（FairFace 和 UTKFace）上应用该方法。
• 端到端训练提示标记，同时保持视觉和语言编码器冻结。

Figure 1: Our proposed debiasing method for pretrained vision-language models . Sensitive text queries and images (with labeled attributes, e.g., Gender) are fed to their respective frozen text and image encoders. We employ an adversarial classifier which aims to predict the image attribute labels f

实验结果

研究问题

• RQ1 哪些偏见测量度量指标对视觉-语言模型最有效，特别是在检测表征性伤害方面？
• RQ2 所提出的基于提示的对抗性去偏方法在偏见减少和表征保留方面，与现有去偏技术相比表现如何？
• RQ3 是否可以仅通过轻量级的、基于提示的方法有效减少视觉-语言模型中的偏见，而无需微调主编码器？
• RQ4 与对比损失联合优化在多大程度上可防止去偏过程中图像-文本表征质量的退化？
• RQ5 交叉属性（例如种族与性别）如何影响偏见及去偏性能？

主要发现

• MaxSkew 和 NDKL 被确定为视觉-语言模型中有效的偏见度量指标，而 WEAT 在此多模态设置中被认为不适用。
• 所提出的方法在 FairFace 和 UTKFace 数据集上，对性别和种族属性均显著降低了 MaxSkew 和 NDKL。
• 得益于与对比损失的联合训练，偏见减少的同时对图像-文本表征质量的退化极小。
• 在更大数据集上预训练或使用自监督学习（SSL）的模型表现出更低的基线偏见，证实了相关领域中的先前发现。
• 即使在组合属性（例如种族与性别）情况下，该方法仍有效，表明其在交叉偏见缓解方面具有潜力。
• 该方法计算效率高，适用于无需重新训练的现有模型，适合实际部署。

Figure 2: The bias ( NDKL ) vs performance ( IN1K acc ) trade-off of our debiased models with varied ITC loss weights $\lambda$ (in red) and CLIP-clip using different numbers of removed dimensions $m$ (in blue).