[论文解读] Detecting Bias with Generative Counterfactual Face Attribute Augmentation

Emily Denton, Ben Hutchinson+2 more|arXiv (Cornell University)|Jun 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 62

一句话总结

本文提出了一种生成式反事实框架，通过使用生成对抗网络（GANs）对人脸属性进行受控修改，以检测微笑属性分类器中的偏见。通过生成具有操控特征的逼真人脸图像并测量预测结果的变化，该方法识别出多种可变因素（如肤色和年龄）对分类器决策的不成比例影响，揭示了隐藏的偏见。

ABSTRACT

We introduce a simple framework for identifying biases of a smiling attribute classifier. Our method poses counterfactual questions of the form: how would the prediction change if this face characteristic had been different? We leverage recent advances in generative adversarial networks to build a realistic generative model of face images that affords controlled manipulation of specific image characteristics. We introduce a set of metrics that measure the effect of manipulating a specific property of an image on the output of a trained classifier. Empirically, we identify several different factors of variation that affect the predictions of a smiling classifier trained on CelebA.

研究动机与目标

• 开发一种识别面部属性分类器中偏见的方法，特别针对CelebA数据集上的微笑属性。
• 研究特定面部特征（如肤色、年龄和性别）的变化如何影响分类器的预测结果。
• 评估分类器输出是否对与微笑无关或无关紧要的属性敏感，以判断潜在偏见。
• 提出一种利用生成模型系统探测分类器行为的框架，通过反事实图像操控实现。

提出的方法

• 利用训练好的基于GAN的生成模型，合成在特定面部属性上具有受控修改的逼真人脸图像。
• 通过应用特定属性的噪声向量或潜在空间操作，改变生成图像中的肤色、年龄或眼睛形状等特征。
• 在CelebA数据集上训练微笑属性分类器，并使用其对生成的反事实图像进行预测。
• 通过比较原始图像与修改后图像的预测结果，计算预测变化，以量化对属性变化的敏感性。
• 引入诸如预测变化幅度和在不同属性变化下的一致性等指标，以评估偏见。
• 采用受控实验设置，每次仅改变一个属性，而其他属性保持不变。

实验结果

研究问题

• RQ1 当面部属性（如肤色或年龄）发生变化时，微笑属性分类器的预测结果如何变化？
• RQ2 哪些特定面部特征会引起分类器输出的最大变化，表明存在潜在偏见？
• RQ3 分类器的预测在多大程度上受到与微笑无关的属性（如性别或面部结构）的影响？
• RQ4 反事实图像生成能否有效揭示面部属性分类模型中的隐藏偏见？

主要发现

• 当面部属性（如肤色和年龄）被改变时，微笑分类器表现出显著的预测变化，表明其对非相关因素敏感。
• 肤色变化始终导致比面部结构或性别变化更大的预测变化，表明模型对深色肤色存在偏见。
• 在操纵年龄等属性时，模型的预测稳定性较差，表明在反事实样本中输出的方差更高。
• 所提出的指标成功量化了偏见，识别出对分类器决策产生不成比例影响的属性。