[论文解读] Exposing and Correcting the Gender Bias in Image Captioning Datasets and Models

Shruti Bhargava Choubey, David Forsyth|arXiv (Cornell University)|Dec 1, 2019

Multimodal Machine Learning Applications被引用 15

一句话总结

本文提出一种两阶段方法，通过将性别中性描述与性别分类解耦，消除图像字幕中的性别偏见。该方法训练一个避免基于上下文的性别偏见的性别中性字幕模型，并结合细粒度的人像裁剪分类器，注入准确的性别标签，在反刻板印象基准测试上实现最先进性能，且不继承数据集中的偏见。

ABSTRACT

The task of image captioning implicitly involves gender identification. However, due to the gender bias in data, gender identification by an image captioning model suffers. Also, the gender-activity bias, owing to the word-by-word prediction, influences other words in the caption prediction, resulting in the well-known problem of label bias. In this work, we investigate gender bias in the COCO captioning dataset and show that it engenders not only from the statistical distribution of genders with contexts but also from the flawed annotation by the human annotators. We look at the issues created by this bias in the trained models. We propose a technique to get rid of the bias by splitting the task into 2 subtasks: gender-neutral image captioning and gender classification. By this decoupling, the gender-context influence can be eradicated. We train the gender-neutral image captioning model, which gives comparable results to a gendered model even when evaluating against a dataset that possesses a similar bias as the training data. Interestingly, the predictions by this model on images with no humans, are also visibly different from the one trained on gendered captions. We train gender classifiers using the available bounding box and mask-based annotations for the person in the image. This allows us to get rid of the context and focus on the person to predict the gender. By substituting the genders into the gender-neutral captions, we get the final gendered predictions. Our predictions achieve similar performance to a model trained with gender, and at the same time are devoid of gender bias. Finally, our main result is that on an anti-stereotypical dataset, our model outperforms a popular image captioning model which is trained with gender.

研究动机与目标

• 调查并揭示COCO图像字幕数据集中存在的性别偏见，包括有偏见的人工标注和统计不平衡。
• 分析训练数据中的性别偏见如何由于自回归字幕生成中的标签偏见和上下文依赖性，在模型中传播。
• 开发一种消除图像字幕中性别偏见的方法，同时保持高质量的字幕生成。
• 证明在训练阶段消除性别偏见可提升模型在反刻板印象图像上的泛化能力。

提出的方法

• 将图像字幕生成分解为两个子任务：性别中性字幕生成和独立的性别分类。
• 将COCO字幕中的所有性别代词和描述性词汇替换为性别中性术语（例如，用“person”代替“man”或“woman”），以训练性别中性字幕模型。
• 在仅包含人物的图像裁剪区域上训练性别分类器，利用边界框和身体掩码将主体与上下文分离。
• 使用训练好的性别分类器预测图像中每个人的性别，然后将预测的性别注入到性别中性字幕中。
• 将性别中性字幕与预测的性别结合，生成最终的性别化字幕，避免基于上下文的性别推断。
• 在标准基准和反刻板印象数据集上评估模型，以衡量偏见减少程度和性能表现。

实验结果

研究问题

• RQ1 由于统计不平衡和人工标注不一致，COCO图像字幕数据集中性别偏见的程度如何？
• RQ2 图像字幕模型中基于上下文的性别偏见如何影响对与性别无关的词汇在字幕中的预测？
• RQ3 将性别分类与字幕生成解耦是否能减少标签偏见，并提升模型预测的公平性？
• RQ4 在无性别语言环境下训练的性别中性字幕模型，是否比标准性别化模型在反刻板印象图像上泛化能力更强？
• RQ5 独立的、高精度的基于人物的性别分类器是否能优于端到端模型，在性别预测中减少上下文引起的偏见？

主要发现

• 即使在有偏见的测试集上评估，性别中性字幕模型的BLEU得分与性别化模型相当，表明其在无偏见情况下的鲁棒性。
• 对于无人图像，该模型生成的字幕与性别化模型明显不同，表明偏见不仅存在于性别词汇，也存在于整体语言模式中。
• 基于人像裁剪的性别分类器准确率显著高于尝试从完整图像中推断性别的图像字幕模型。
• 在反刻板印象数据集上，所提模型优于标准性别化模型，证明偏见消除可提升模型泛化能力。
• 该方法减少了标签偏见，表现为性别对无关词汇的影响降低，例如在“a person in a suit”（一个人穿西装）而非“a man in a suit”（一个男人穿西装）等短语中体现。
• 该方法成功缓解了“man and woman”短语偏见，即性别化模型即使仅存在一个人时也过度预测成对的性别词汇。