[论文解读] Improving the Fairness of Deep Generative Models without Retraining

Shuhan Tan, Yujun Shen+1 more|arXiv (Cornell University)|Dec 9, 2020

Face recognition and analysis参考文献 43被引用 21

一句话总结

本文提出一种无需微调的后处理方法，通过在潜在空间中移动可解释的语义分布，改进预训练深度生成模型（特别是StyleGAN2）的公平性。该方法在不重新训练的情况下，平衡了种族和性别等面部属性的生成，显著降低了偏差，同时保持了样本多样性，并支持下游模型中的偏差分析。

ABSTRACT

Generative Adversarial Networks (GANs) advance face synthesis through learning the underlying distribution of observed data. Despite the high-quality generated faces, some minority groups can be rarely generated from the trained models due to a biased image generation process. To study the issue, we first conduct an empirical study on a pre-trained face synthesis model. We observe that after training the GAN model not only carries the biases in the training data but also amplifies them to some degree in the image generation process. To further improve the fairness of image generation, we propose an interpretable baseline method to balance the output facial attributes without retraining. The proposed method shifts the interpretable semantic distribution in the latent space for a more balanced image generation while preserving the sample diversity. Besides producing more balanced data regarding a particular attribute (e.g., race, gender, etc.), our method is generalizable to handle more than one attribute at a time and synthesize samples of fine-grained subgroups. We further show the positive applicability of the balanced data sampled from GANs to quantify the biases in other face recognition systems, like commercial face attribute classifiers and face super-resolution algorithms.

研究动机与目标

• 探究预训练GAN在图像生成过程中如何放大训练数据中的偏差。
• 开发一种无需微调或访问原始训练数据即可提升深度生成模型公平性的方法。
• 实现在多个面部属性及细粒度子群体间的平衡生成。
• 展示该方法生成的平衡数据在检测其他AI系统（如面部属性分类器和超分辨率模型）中偏差的实用性。

提出的方法

• 通过识别并移动对应于代表性不足子群体的潜在码，修改潜在空间中的采样策略。
• 利用预训练的属性评分函数 $ f_S $ 对潜在码进行过滤和重加权，以匹配期望的属性组合。
• 对过滤后的潜在码拟合高斯混合模型（GMM），以建模每个子群体的偏移分布。
• 使用偏移后的GMM采样新的潜在码，从而在多个属性上生成更平衡的输出。
• 该方法在推理后应用，保留原始模型权重，无需微调。
• 该方法可推广至多个属性，并支持细粒度子群体的采样。

实验结果

研究问题

• RQ1 预训练GAN在多大程度上放大了其训练数据中的偏差？
• RQ2 能否在不重新训练或访问原始训练数据的情况下提升GAN生成图像的公平性？
• RQ3 所提出的方法在平衡多个面部属性（如种族和性别）的生成方面效果如何？
• RQ4 该方法生成的平衡数据能否用于检测其他AI系统中的偏差？

主要发现

• 预训练的StyleGAN2模型放大了训练数据中的偏差，对代表性不足的子群体（如黑人女性）生成的图像显著更少。
• 与原始模型相比，所提方法将公平性分数降低了高达80%，其中年龄-眼镜组合的公平性得分为0.0079，性别-眼镜组合为0.0013。
• 该方法成功改善了种族、性别和眼镜等多个属性的平衡性，同时样本多样性损失极小。
• 该方法生成的平衡数据能有效揭示其他系统中的偏差：PULSE超分辨率模型在76.4%的黑人面部和34.3%的亚洲面部中改变了种族属性，并在50%的女性输入中改变了性别属性。
• 消融实验表明，潜在码移动、过滤和GMM拟合所有组件对公平性提升均至关重要。
• 该方法可在无需人工标注或数据集重平衡的情况下，实现低成本、可扩展的下游模型偏差分析。