[论文解读] Assessing Demographic Bias Transfer from Dataset to Model: A Case Study in Facial Expression Recognition

Iris Dominguez-Catena, Daniel Paternain+1 more|arXiv (Cornell University)|May 20, 2022

Emotion and Mood Recognition被引用 4

一句话总结

该论文提出了一种新颖的度量框架，用于评估在面部表情识别（FER）中，数据集到模型的种族与性别方面的代表性失衡和刻板印象偏见的偏见传播。基于AffectNet数据集，研究揭示了显著的种族代表性不足和性别刻板印象，表明性别偏见会强烈传递至模型——而即使在数据集平衡后，种族偏见对模型性能的影响也并不显著。

ABSTRACT

The increasing amount of applications of Artificial Intelligence (AI) has led researchers to study the social impact of these technologies and evaluate their fairness. Unfortunately, current fairness metrics are hard to apply in multi-class multi-demographic classification problems, such as Facial Expression Recognition (FER). We propose a new set of metrics to approach these problems. Of the three metrics proposed, two focus on the representational and stereotypical bias of the dataset, and the third one on the residual bias of the trained model. These metrics combined can potentially be used to study and compare diverse bias mitigation methods. We demonstrate the usefulness of the metrics by applying them to a FER problem based on the popular Affectnet dataset. Like many other datasets for FER, Affectnet is a large Internet-sourced dataset with 291,651 labeled images. Obtaining images from the Internet raises some concerns over the fairness of any system trained on this data and its ability to generalize properly to diverse populations. We first analyze the dataset and some variants, finding substantial racial bias and gender stereotypes. We then extract several subsets with different demographic properties and train a model on each one, observing the amount of residual bias in the different setups. We also provide a second analysis on a different dataset, FER+.

研究动机与目标

• 为解决多类别、多人口统计群体问题（如FER）中缺乏公平性度量的问题，现有度量方法无法有效区分数据集与模型的偏见。
• 开发一种系统化的方法，用于度量从训练数据到训练后模型的偏见传播，从而支持对缓解策略的评估。
• 分析真实世界中的FER数据集（特别是AffectNet），包括代表性失衡和刻板印象关联在内的种族与性别偏见。
• 评估在数据集层面进行偏见缓解（如按种族或性别进行平衡）对训练后模型残余偏见的影响。
• 将分析扩展至第二个数据集（FER+），以验证在不同数据分布下的发现。

提出的方法

• 提出三种新度量：两种用于数据集偏见（代表性失衡和通过NMI/NPMI衡量的刻板印象偏见），一种用于模型残余偏见。
• 当缺乏真实人口统计信息时，使用FairFace（一个预训练模型）从AffectNet和FER+中的面部图像推断出明显的种族和性别。
• 应用归一化互信息（NMI）和归一化点互信息（NPMI）来量化人口群体与表情类别之间的刻板印象关联。
• 通过单一数值度量（OD）衡量模型偏见，该度量捕捉每种表情类别下各人口群体的召回率差异。
• 在多种数据集变体上训练模型：分层采样、按种族平衡、按性别平衡的子集，以比较偏见传播情况。
• 通过不同训练规模的定量分析，评估数据量与质量对偏见传播的影响。

实验结果

研究问题

• RQ1 AffectNet数据集中代表性失衡在多大程度上影响了面部表情识别模型的公平性？
• RQ2 当某些人口群体被过度或不足地与特定表情相关联时，这种刻板印象偏见在多大程度上影响了模型预测？
• RQ3 通过按种族或性别平衡数据集是否能减少训练后模型的残余偏见？如果是，哪种人口统计因素的影响更强？
• RQ4 训练数据规模在多大程度上影响了从数据集到模型的偏见传播，且独立于代表性失衡或刻板印象偏见？
• RQ5 所提出的度量是否能有效检测并量化不同FER数据集和模型配置下的偏见传播？

主要发现

• AffectNet数据集表现出显著的代表性失衡，某些种族群体被显著低估，而其他群体则被过度代表。
• 性别关联中的刻板印象偏见尤为明显：女性在某些表情（如“高兴”或“悲伤”）中被不成比例地关联，而男性在情感类别中则代表性不足。
• 尽管对数据集按种族进行了平衡，但训练后模型的种族偏见基本保持不变，表明仅通过简单平衡难以缓解种族偏见的传播。
• 按性别平衡的数据集显著降低了模型偏见，表明数据中性别刻板印象强烈影响了模型预测。
• 即使在保持代表性失衡和刻板印象偏见恒定的情况下，随着训练规模的增加，模型偏见也会减少，表明数据量有助于缓解偏见。
• 所提出的度量成功量化了偏见传播，揭示了在该FER场景下，性别偏见对模型公平性的影响大于种族偏见。