[论文解读] How well can Text-to-Image Generative Models understand Ethical Natural Language Interventions?

Hritik Bansal, Da Yin+2 more|arXiv (Cornell University)|Oct 27, 2022

Computational and Text Analysis Methods被引用 7

一句话总结

本文提出了 ENTIGEN，一个用于评估文本到图像生成模型在面对促进性别、肤色和文化平等等伦理自然语言干预时响应情况的基准。研究发现，诸如 'irrespective of gender' 这类干预措施能显著提升生成图像中的多样性，尤其是在性别和文化偏见方面，且不以牺牲图像质量为代价，表明模型可通过语言提示实现公平性引导。

ABSTRACT

Text-to-image generative models have achieved unprecedented success in generating high-quality images based on natural language descriptions. However, it is shown that these models tend to favor specific social groups when prompted with neutral text descriptions (e.g., 'a photo of a lawyer'). Following Zhao et al. (2021), we study the effect on the diversity of the generated images when adding ethical intervention that supports equitable judgment (e.g., 'if all individuals can be a lawyer irrespective of their gender') in the input prompts. To this end, we introduce an Ethical NaTural Language Interventions in Text-to-Image GENeration (ENTIGEN) benchmark dataset to evaluate the change in image generations conditional on ethical interventions across three social axes -- gender, skin color, and culture. Through ENTIGEN framework, we find that the generations from minDALL.E, DALL.E-mini and Stable Diffusion cover diverse social groups while preserving the image quality. Preliminary studies indicate that a large change in the model predictions is triggered by certain phrases such as 'irrespective of gender' in the context of gender bias in the ethical interventions. We release code and annotated data at https://github.com/Hritikbansal/entigen_emnlp.

研究动机与目标

• 探究伦理自然语言干预是否能减少文本到图像生成模型中的社会偏见。
• 评估此类干预对模型在性别、肤色和文化代表性方面输出的影响。
• 构建一个标准化基准（ENTIGEN），用于衡量在提示中加入伦理干预后偏见变化的程度。
• 分析哪些具体短语能引发模型行为向更公平的图像生成方向发生最大转变。
• 评估人类与 CLIP 基准评估在测量偏见减少方面的可靠性与局限性。

提出的方法

• 在性别、肤色和文化三个偏见维度上构建了 ENTIGEN 基准，使用中性提示，并在每个维度上添加伦理干预。
• 使用 CLIP 和人工标注者（通过 MTurk）将生成的图像分类到社会群体类别中（例如：男性/女性，浅色/深色皮肤，西方/非西方）。
• 评估了三种开源模型——minDALL·E、DALL·E-mini 和 Stable Diffusion——对伦理干预的响应。
• 设计了不包含视觉线索的伦理干预（例如：'irrespective of gender'），确保不明确表示任何群体。
• 通过 CLIP 嵌入进行自动评估，并通过支付合理薪酬（10 美元/小时）的人工标注评估群体代表性。
• 分析预训练数据中关键短语（如 'irrespective of gender' 和 'culture'）的上下文使用情况，以理解其如何引发模型行为的显著变化。

实验结果

研究问题

• RQ1 伦理自然语言干预如何影响文本到图像模型在性别、肤色和文化方面的图像生成多样性？
• RQ2 伦理干预中的哪些具体短语对模型行为向公平代表性方向产生最强影响？
• RQ3 在未进行微调的情况下，现有文本到图像模型在使用伦理干预提示时，能在多大程度上生成多样化输出？
• RQ4 CLIP 和人工标注者在检测生成图像中社会群体代表性变化方面有多可靠？
• RQ5 关键短语（如 'irrespective of gender'）在预训练数据中的上下文，在多大程度上影响了模型的响应？

主要发现

• 诸如 'irrespective of gender' 的伦理干预显著增加了生成图像中代表性不足群体的出现比例，尤其在性别偏见场景中。
• 短语 'irrespective of gender' 引发了模型行为的显著转变，导致生成结果中性别代表性更加均衡。
• Stable Diffusion、minDALL·E 和 DALL·E-mini 在使用伦理干预提示时均能生成多样化输出，同时保持高质量图像。
• 在某些情况下，伦理干预甚至反转了偏见——使原本代表性不足的群体获得更多青睐，表明其具备主动缓解公平性问题的潜力。
• 关键短语如 'irrespective of gender' 和 'culture' 在预训练数据中的上下文与它们在改变模型输出方面的有效性存在相关性。
• 人类与 CLIP 基准评估显示出一致的趋势，但两种方法在群体分类方面均存在感知与文化层面的局限性。