[论文解读] Characterizing Bias in Classifiers using Generative Models

Daniel McDuff, Shuang Ma+2 more|arXiv (Cornell University)|May 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 18

一句话总结

本文提出一种基于仿真的方法，结合渐进式条件生成对抗网络（GAN）与贝叶斯优化，系统性地检测面部分类器中的种族与性别偏见。该方法通过生成多样化、逼真的面部图像，高效识别出商业API中的故障模式，揭示了非裔与南亚个体在面部检测与性别分类任务中显著更高的错误率，证明了该方法在以远少于随机采样的样本数量下，有效发现隐藏偏见的能力。

ABSTRACT

Models that are learned from real-world data are often biased because the data used to train them is biased. This can propagate systemic human biases that exist and ultimately lead to inequitable treatment of people, especially minorities. To characterize bias in learned classifiers, existing approaches rely on human oracles labeling real-world examples to identify the "blind spots" of the classifiers; these are ultimately limited due to the human labor required and the finite nature of existing image examples. We propose a simulation-based approach for interrogating classifiers using generative adversarial models in a systematic manner. We incorporate a progressive conditional generative model for synthesizing photo-realistic facial images and Bayesian Optimization for an efficient interrogation of independent facial image classification systems. We show how this approach can be used to efficiently characterize racial and gender biases in commercial systems.

研究动机与目标

• 为解决现有工具在识别与表征训练后分类器中偏见，特别是商业面部识别系统中偏见方面的实际缺失问题。
• 克服人工标注数据与随机采样方法的局限性，实现对分类器故障模式的系统性、高效探索。
• 开发一种可扩展的、基于仿真的方法，生成在种族与性别上条件化的多样化、照片级真实感面部图像，以探测分类器性能。
• 证明生成模型能够高效揭示商业API中系统性偏见，而这些偏见在全局错误率较低时通常难以被发现。
• 提供一种基于反映人口多样性合成数据的严格基准测试框架，用于面部分类器评估。

提出的方法

• 训练一种渐进式条件生成对抗网络（GAN），以生成高保真度、多样化的面部图像，条件基于种族与性别，确保各人口群体间表示均衡。
• 通过人工评估验证GAN性能，结果显示条件标签与感知属性之间高度一致，且所有种族与性别类别图像质量稳定。
• 复合损失函数结合目标分类器的分类损失与多样性损失，引导贝叶斯优化在潜在空间中探索。
• 采用贝叶斯优化平衡潜在空间中的探索（搜索未探索区域）与开发（聚焦高错误区域），以最大化故障检测效率。
• 使用高斯过程对潜在参数上的损失函数进行建模，实现对人脸图像空间的高效、自适应采样。
• 该方法应用于商业API的面部检测与性别分类任务，性能在按种族与性别划分的不同人口群体中进行评估。

实验结果

研究问题

• RQ1 条件生成模型能否可靠地生成与种族和性别高度匹配、且在各群体间质量一致的逼真面部图像？
• RQ2 与随机采样相比，贝叶斯优化在识别面部分类器故障模式方面效率如何？
• RQ3 当使用多样化合成数据探测时，商业面部分类API中的种族与性别偏见程度如何？
• RQ4 错误率在不同人口群体间如何变化，特别是与肤色和性别化面部特征的关系如何？
• RQ5 优化过程中探索与开发之间的平衡程度在多大程度上影响分类器故障的检测？

主要发现

• 条件GAN成功生成了高质量、多样化的面部图像，条件标签与人类感知高度一致，证实了对种族与性别的可靠控制。
• 贝叶斯优化方法在显著更少的查询次数下，检测到的故障案例比随机采样多近50%，证明其在识别偏见方面的卓越效率。
• IBM面部检测API对非裔面部的错误率比对白人及东北亚面部高出四倍以上，表明存在显著的肤色相关偏见。
• 性别检测错误率在非裔群体中最高，东北亚群体中也显著偏高，提示除肤色外，胡须或化妆等特征也可能导致误分类。
• 探索与开发的最优平衡（α = 0.6）可最大化故障检测效果，证实了同时探索新区域与聚焦高错误区域的重要性。
• 该方法揭示，商业系统中的偏见不仅存在，且系统性地集中于代表性不足的人口群体，特别是深色皮肤人群。