[论文解读] Gender Slopes: Counterfactual Fairness for Computer Vision Models by Attribute Manipulation

Jungseock Joo, Kimmo Kärkkäinen|arXiv (Cornell University)|May 21, 2020

Ethics and Social Impacts of AI参考文献 31被引用 6

一句话总结

本文提出了一种基于编码器-解码器网络的反事实公平性评估框架，用于计算机视觉模型，通过控制性别和种族属性合成面部图像。通过在保持其他特征不变的情况下操纵这些属性，作者评估了商业API对性别和种族线索的敏感性，揭示了显著的偏见——例如，女性化面孔的护士评分更高，搜索结果中种族代表性失衡。

ABSTRACT

Automated computer vision systems have been applied in many domains including security, law enforcement, and personal devices, but recent reports suggest that these systems may produce biased results, discriminating against people in certain demographic groups. Diagnosing and understanding the underlying true causes of model biases, however, are challenging tasks because modern computer vision systems rely on complex black-box models whose behaviors are hard to decode. We propose to use an encoder-decoder network developed for image attribute manipulation to synthesize facial images varying in the dimensions of gender and race while keeping other signals intact. We use these synthesized images to measure counterfactual fairness of commercial computer vision classifiers by examining the degree to which these classifiers are affected by gender and racial cues controlled in the images, e.g., feminine faces may elicit higher scores for the concept of nurse and lower scores for STEM-related concepts. We also report the skewed gender representations in an online search service on profession-related keywords, which may explain the origin of the biases encoded in the models.

研究动机与目标

• 诊断由于黑箱特性而难以检测的商业计算机视觉模型中的隐藏偏见。
• 通过反事实干预，隔离敏感属性（特别是性别和种族）对模型预测的影响。
• 通过分析在线媒体中的失真表示（如Google图像搜索结果），探究偏见的来源。
• 开发一个包含30万张合成图像的公开数据集，用于偏见测量与缓解研究。
• 为评估商业API中的公平性提供一种方法，即使训练数据和模型架构未知。

提出的方法

• 基于FaderNet（Lample et al., 2017）的编码器-解码器架构，显式解耦敏感属性（性别、种族）与其他面部特征。
• 对原始图像（n=64,500）应用属性操纵，生成30万张具有受控性别和种族特征的反事实人脸图像。
• 通过编码器中的解耦表示保持身份和其他非敏感属性，确保仅目标属性被改变。
• 采用对抗性训练以提升合成图像的质量与真实感，确保对模型行为评估的可靠性。
• 在合成图像上测试商业API（IBM、Clarifai、Google），测量预测分数在属性操纵下的变化。
• 使用线性回归量化敏感性：每单位性别/种族属性变化导致的预测分数变化斜率，p值 < 0.001。

实验结果

研究问题

• RQ1 商业计算机视觉API在性别和种族属性的反事实变化下，敏感程度如何？
• RQ2 当面部属性被操纵时，与职业相关的概念（如护士、警察）的预测分数如何变化？
• RQ3 在线图像搜索结果中，性别与种族的偏倚程度如何？这可能如何导致模型偏见？
• RQ4 解耦的属性操纵能否有效隔离敏感属性对模型输出的影响？
• RQ5 是否存在某些标签或概念在API预测中表现出特别强烈的性别或种族偏见？

主要发现

• 当将种族从黑人操纵为白人时，IBM的API在'女性演说者'标签上显示出-0.69的强烈负斜率，表明在性别化角色关联上存在显著偏见。
• 当种族从黑人变为白人时，Google的'美貌'标签显示出0.06的正斜率，表明在美学分类中存在种族偏见。
• 在Google图像搜索中发现了性别代表性失衡：92.1%的'营养师'结果为女性，97.1%的'害虫控制工人'结果为男性。
• 观察到种族代表性失衡：88.5%的'历史学家'结果为白人，而'篮球运动员'结果中仅20.0%为白人，表明存在种族刻板印象。
• 在种族操纵中，IBM的'美国总统'标签斜率为-0.367，表明强烈偏见，倾向于将白人与高地位角色关联。
• 本研究揭示，30万张具有受控属性的合成图像可有效暴露商业API中的隐藏偏见，即使模型内部结构未知。