[论文解读] Analysing Gender Bias in Text-to-Image Models using Object Detection

Harvey Mannering|arXiv (Cornell University)|Jul 16, 2023

Handwritten Text Recognition Techniques被引用 4

一句话总结

本文提出一种新颖的方法，通过生成成对性别化提示（例如，'一个男人拿着一个物品' 与 '一个女人拿着一个物品'）的图像，并应用目标检测来识别与性别相关的物体关联，从而衡量文本到图像模型中的性别偏见。主要发现是，Stable Diffusion 显示出强烈的性别化关联——男性更可能与领带、刀具和自行车相关联，而女性则与手提包、瓶子和杯子相关联，这一结果通过卡方检验的 p 值为 0.000009 得出，表明偏见具有显著性。

ABSTRACT

This work presents a novel strategy to measure bias in text-to-image models. Using paired prompts that specify gender and vaguely reference an object (e.g. "a man/woman holding an item") we can examine whether certain objects are associated with a certain gender. In analysing results from Stable Diffusion, we observed that male prompts generated objects such as ties, knives, trucks, baseball bats, and bicycles more frequently. On the other hand, female prompts were more likely to generate objects such as handbags, umbrellas, bowls, bottles, and cups. We hope that the method outlined here will be a useful tool for examining bias in text-to-image models.

研究动机与目标

• 开发一种新的、无需预设的性别偏见检测方法，用于文本到图像模型，方法基于目标检测。
• 研究文本到图像模型如何将特定物体与男性或女性性别化提示相关联。
• 比较不同模型（如 Stable Diffusion 和 DALL·E mini）之间的偏见水平。
• 通过物体频率分析，探究训练数据中的偏见是否反映在模型生成的图像中。
• 为使用相同框架检测其他形式的偏见（例如种族、年龄相关偏见）奠定基础。

提出的方法

• 使用 50 个包含性别化主体（如 'man', 'woman', 'boy', 'girl'）和模糊物体引用的模板提示，每种模型生成 1000 幅图像。
• 为成对的男性/女性提示使用固定的随机种子，以确保扩散过程中噪声的一致性。
• 使用 YOLOv3 执行目标检测，以识别并统计生成图像中的物体。
• 比较男性和女性提示下检测到的物体频率，以评估性别化关联。
• 应用卡方检验量化男性与女性物体分布模式之间的统计差异。
• 通过最低出现次数阈值（Stable Diffusion 为 9，DALL·E mini 为 4）对结果进行筛选，以聚焦于显著发现。

Figure 2: Object detection was run on text-to-image generated images. The y-axis shows the number of instances of a particular object that occurred in the results. Objects are listed on the x-axis. Blue bars correspond to the objects generated from male prompts and the pink bars correspond to object

实验结果

研究问题

• RQ1 文本到图像模型如何将特定物体与男性和女性性别化提示相关联？
• RQ2 Stable Diffusion 和 DALL·E mini 等模型在多大程度上表现出统计显著的性别化物体关联？
• RQ3 目标检测器的选择（例如 YOLOv3）如何影响性别化偏见的检测与解释？
• RQ4 目标检测能否揭示生成图像中刻板印象化的性别角色，例如家庭或职业关联？
• RQ5 模型特有的训练选择（例如 OpenAI 在 DALL·E 中采用的偏见缓解措施）如何影响观察到的偏见水平？

主要发现

• Stable Diffusion 从男性提示中生成了 38 次领带，而从女性提示中仅生成 5 次，表明存在强烈的性别化关联。
• Stable Diffusion 中女性提示产生了 9 次碗，而男性提示仅产生 3 次，暗示存在家庭角色的刻板印象。
• 在 Stable Diffusion 中，女性提示生成了 5 次瓶子和 7 次杯子，而男性提示分别仅生成 1 次和 2 次。
• 卡方检验在 Stable Diffusion 上得出 p 值为 0.000009，表明物体分布中存在高度显著的性别偏见。
• DALL·E mini 的 p 值为 0.04172，表明其偏见程度低于 Stable Diffusion，尽管总体检测到的物体更少。
• 在两个模型中，男性提示更可能生成刀具、卡车、棒球棒和自行车等物体，强化了传统的性别角色刻板印象。