[论文解读] FairFaceGAN: Fairness-aware Facial Image-to-Image Translation

Sunhee Hwang, Sungho Park+3 more|arXiv (Cornell University)|Dec 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 20

一句话总结

FairFaceGAN 是一种基于 GAN 的面部图像到图像转换模型，具备公平性意识，通过使用两个独立的潜在变量，将目标属性编辑与受保护属性（如性别、种族、年龄）解耦，从而确保受保护属性的非意愿改变最小化。该模型在等 Odds 方面实现了 23.4% 的性能提升，FPAD（Fréchet Protected Attribute Distance）达到最低水平，同时保持了优异的图像质量，实现了当前最先进的公平性表现。

ABSTRACT

In this paper, we introduce FairFaceGAN, a fairness-aware facial Image-to-Image translation model, mitigating the problem of unwanted translation in protected attributes (e.g., gender, age, race) during facial attributes editing. Unlike existing models, FairFaceGAN learns fair representations with two separate latents - one related to the target attributes to translate, and the other unrelated to them. This strategy enables FairFaceGAN to separate the information about protected attributes and that of target attributes. It also prevents unwanted translation in protected attributes while target attributes editing. To evaluate the degree of fairness, we perform two types of experiments on CelebA dataset. First, we compare the fairness-aware classification performances when augmenting data by existing image translation methods and FairFaceGAN respectively. Moreover, we propose a new fairness metric, namely Frechet Protected Attribute Distance (FPAD), which measures how well protected attributes are preserved. Experimental results demonstrate that FairFaceGAN shows consistent improvements in terms of fairness over the existing image translation models. Further, we also evaluate image translation performances, where FairFaceGAN shows competitive results, compared to those of existing methods.

研究动机与目标

• 解决在面部图像到图像转换中，受保护属性（如性别、种族、年龄）在编辑过程中被无意改变的公平性问题。
• 开发一种在无需受保护属性标注的情况下，仍能保持受保护属性不变的编辑方法。
• 使用标准公平性度量和一种新型度量 FPAD 来评估公平性，以衡量受保护属性的保留程度。
• 证明该模型在显著提升现有基于 GAN 的方法公平性的同时，仍能保持高质量的图像生成能力。

提出的方法

• FairFaceGAN 使用两个解耦的潜在空间：一个用于目标属性编辑，另一个用于保留受保护属性信息。
• 引入公平表征损失（FRL），以实现目标属性相关特征与受保护属性相关特征的解耦。
• 应用受保护属性距离损失（PADL），以最小化输入图像与生成图像之间受保护属性的分布偏移。
• 利用预训练分类模型提取受保护属性特征，而无需这些属性的真实标签。
• 采用感知损失以在公平性约束下保持生成图像的高视觉保真度。
• 端到端训练框架结合对抗损失、循环一致性损失以及所提出的公平性感知损失。

实验结果

研究问题

• RQ1 基于 GAN 的图像转换模型是否能在无需受保护属性标注的情况下，保留受保护属性（如性别、种族、年龄）在目标属性编辑过程中的稳定性？
• RQ2 目标属性与受保护属性表征的解耦在面部属性转换中的公平性方面产生了何种影响？
• RQ3 FairFaceGAN 在公平性度量（如机会均等与等 Odds）方面，相较于现有模型的优越程度如何？
• RQ4 所提出的 Fréchet 受保护属性距离（FPAD）度量在衡量受保护属性保留方面，相较于标准度量的有效性如何？
• RQ5 FairFaceGAN 是否能够生成在属性编辑上既视觉逼真又公平的高质量图像？

主要发现

• FairFaceGAN 在 CelebA 数据集上实现了最低的 Fréchet 受保护属性距离（FPAD）1.24，表明其在受保护属性保留方面优于先前模型。
• 在公平性评估中，FairFaceGAN 相较基线模型在等 Odds 指标上提升了 23.4%，显著降低了人口统计差异。
• 在生成图像上，目标属性分类准确率达到 92.11%，优于其他模型，接近原始测试集的 88.88% 准确率。
• 用户研究结果显示，FairFaceGAN 在图像质量和公平性两个维度上均获得最高评分，73 名参与者选择其为两项指标的最佳选项。
• 尽管在 FID（13.8）方面表现具有竞争力，且在 KID 指标上达到最佳值 0.0012，表明其图像生成质量优异。
• 尽管分类准确率略有下降，但模型在公平性方面的提升显著，验证了其在图像转换中缓解偏见的核心目标。