[论文解读] Fair Diffusion: Instructing Text-to-Image Generation Models on Fairness

F. Friedrich, Manuel Brack+5 more|arXiv (Cornell University)|Feb 7, 2023

Ethics and Social Impacts of AI被引用 28

一句话总结

本论文提出 Fair Diffusion，一种在部署阶段引导文本到图像模型实现公平性的方法，通过文本指令实现可任意调节的公平性概念，无需额外的数据过滤或训练。

ABSTRACT

Generative AI models have recently achieved astonishing results in quality and are consequently employed in a fast-growing number of applications. However, since they are highly data-driven, relying on billion-sized datasets randomly scraped from the internet, they also suffer from degenerated and biased human behavior, as we demonstrate. In fact, they may even reinforce such biases. To not only uncover but also combat these undesired effects, we present a novel strategy, called Fair Diffusion, to attenuate biases after the deployment of generative text-to-image models. Specifically, we demonstrate shifting a bias, based on human instructions, in any direction yielding arbitrarily new proportions for, e.g., identity groups. As our empirical evaluation demonstrates, this introduced control enables instructing generative image models on fairness, with no data filtering and additional training required.

研究动机与目标

• 识别并审计与性别和职业相关的 Stable Diffusion、LAION-5B 和 CLIP 的偏见。
• 提出在部署阶段缓解扩散模型偏见的策略，且无需数据过滤或再训练。
• 证明用户引导的公平性可以在生成图像中实现不同的公平性概念。
• 证明在部署后即可控制公平性，同时揭示局限性和伦理含义。

提出的方法

• 提出 Fair Diffusion，一种基于指令的公平性机制，在图像生成过程中向 classifier-free guidance 添加一个公平引导项。
• 使用文本界面（通过查找表和编辑表达式）将偏见概念映射到目标引导向量。
• 用公平引导项 gamma 扩展 classifier-free guidance，并通过 s_e 缩放以引导输出。
• 从指定的概率分布 P 随机抽样每个属性的引导方向，以实现所需的公平比例。
• 通过使用分类器衡量生成输出中的属性比例来评估公平性，以检查是否与用户定义的公平目标对齐。
• 以 Semantic Guidance（Sega）作为编辑机制演示其适用性，并分析多种职业和性别属性。

Figure 1 : Fair Diffusion deployment. A user inserts a prompt to generate an image. With the help of fair guidance, the image generation is steered toward a fairer outcome. Here, the fair instructions are realized with a lookup table —the biased concept is recognized, and guidance $\gamma$ is applie

实验结果

研究问题

• RQ1 部署阶段的文本引导能否在不进行重新训练或数据过滤的情况下将扩散模型输出引向已定义的公平性概念？
• RQ2 Fair Diffusion 对 LAION-5B、CLIP 和 Stable Diffusion 输出中存在的性别-职业偏见有何影响？
• RQ3 Fair Diffusion 在跨职业和人群中实现不同公平性概念（如结果的公正性）有多灵活？

主要发现

• LAION-5B 和 CLIP 表现出性别-职业偏见和交叉性偏见，影响下游扩散模型。
• Stable Diffusion 的输出在若干职业上相对于 LAION-5B 显示出对称或放大的性别偏见，表明偏见在各组成部分中存在。
• Fair Diffusion 可以将生成输出在所研究的职业上向公平边界（统计平等）靠拢，在不改变输入提示或数据的情况下缓解偏见。
• Fair Diffusion 的效果在基线 SD 输出中偏见被放大、反映或缓解的职业领域中都具有鲁棒性。
• Fair Diffusion 实现的公平性在模型结果上符合 Def. 1（统计平等），尽管由于非二元性别考虑以及数据/编码限制，仍存在一些方差。

Figure 2 : Stable Diffusion (top row) runs the risk of lacking diversity in its output (here, e.g., only White male-appearing persons as “firefighters”). In contrast, Fair Diffusion (bottom row) allows one to introduce fairness—increasing outcome impartiality—according to a user’s preferences (here,