[论文解读] A Friendly Face: Do Text-to-Image Systems Rely on Stereotypes when the Input is Under-Specified?

Kathleen Fraser, Svetlana Kiritchenko+1 more|arXiv (Cornell University)|Feb 14, 2023

Social and Intergroup Psychology被引用 12

一句话总结

本文研究在文本到图像模型（DALL-E 2、Midjourney、Stable Diffusion）中使用欠指定提示是否会在生成的人脸中引入人口统计学刻板印象，依据ABC社会认知模型。

ABSTRACT

As text-to-image systems continue to grow in popularity with the general public, questions have arisen about bias and diversity in the generated images. Here, we investigate properties of images generated in response to prompts which are visually under-specified, but contain salient social attributes (e.g., 'a portrait of a threatening person' versus 'a portrait of a friendly person'). Grounding our work in social cognition theory, we find that in many cases, images contain similar demographic biases to those reported in the stereotype literature. However, trends are inconsistent across different models and further investigation is warranted.

研究动机与目标

• 促使在提示缺乏明确人口统计细节时，对文本到图像输出中的偏见与多样性进行评估。
• 以ABC社会认知模型（Agency, Beliefs, Communion）为基础，将提示映射到人口统计推断。
• 评估三种流行模型是否再现来自ABC维度的特征的刻板人口统计。
• 在标注生成图像的感知人口统计时，评注者之间的一致性和歧义处理。
• 讨论对模型设计的影响以及在推理阶段和训练阶段的潜在偏见缓解策略。

提出的方法

• 使用形式为 'portrait of a <adjective> person' 的提示，在三种模型（DALL-E 2、Midjourney、Stable Diffusion）上生成图像。
• 将提示与ABC特征（高/低 Agency、Beliefs、Communion）翻译：High/Low Agency, Beliefs, Communion，生成每个特质极端的多张图像以评估偏见。
• 通过三名评注者对生成图像的感知性别、肤色和年龄进行注释，然后取平均注释以获得人口统计分数。
• 用 Cohen's Kappa 分析评注者之间的一致性，并在各模型间报告。
• 分析模糊性（AIAO）与多样性（AIDO）策略，并报告具有模糊线索的图像所占比例。

实验结果

研究问题

• RQ1 在提示社会属性欠指定时，文本到图像模型是否会再现人口统计偏见？
• RQ2 不同模型（DALL-E 2、Midjourney、Stable Diffusion）在ABC模型提示下对性别、肤色和年龄的倾向有何差异？
• RQ3 是否存在跨模型的可观察的交叉性偏见（例如与较深肤色男性相关的负面刻板）？
• RQ4 欠指定、歧义和提示工程在形成输出偏见中的作用是什么？
• RQ5 这些偏见对去偏偏方法和模型设计有何影响？

主要发现

• 模型在ABC维度上显示出特性偏见；并非所有特征都产生刻板图像，但每个模型都存在模式。
• Midjourney 与 Stable Diffusion 往往生成肤色较浅、主体年龄较年轻的图像；DALL-E 在基线中总体呈现男性的过度代表。
• 高 Agency 的提示在某些模型中往往偏向男性性别，高 Communion 更偏向女性外貌；而在其他模型中观察到低 Communion 偏向男性性别。
• 更高的 Beliefs? 实际应为 Progressive beliefs 关联较浅肤色在 Midjourney；DALL-E 和 Stable Diffusion 在某些情况下将较浅肤色与低 Communion 相关。
• 交叉性分析显示在模型中较深肤色男性与形容词 'poor' 有关联；较深肤色女性的表示较少。
• 模糊性处理（AIAO）在某些情况下会降低显式的人口统计线索，但并非主要分析焦点。