[论文解读] Addressing Racial Bias in Facial Emotion Recognition

Alex Fan, Xingshuo Xiao+1 more|arXiv (Cornell University)|Aug 9, 2023

Face recognition and analysisComputer Science被引用 3

一句话总结

本研究通过在AffectNet和CAFE数据集的训练数据中模拟不同的种族构成，探究了面部情绪识别（FER）中的种族偏见。使用具有不同种族分布的子采样子集进行训练，发现种族平衡可提升公平性和性能，尤其在较小的、摆拍的数据库中表现更佳；然而，在更大的、更复杂的数据库中，种族平衡无法完全消除偏见，表明仅靠数据构成的平衡不足以解决深层偏见源，如标注错误和模型估计误差。

ABSTRACT

Fairness in deep learning models trained with high-dimensional inputs and subjective labels remains a complex and understudied area. Facial emotion recognition, a domain where datasets are often racially imbalanced, can lead to models that yield disparate outcomes across racial groups. This study focuses on analyzing racial bias by sub-sampling training sets with varied racial distributions and assessing test performance across these simulations. Our findings indicate that smaller datasets with posed faces improve on both fairness and performance metrics as the simulations approach racial balance. Notably, the F1-score increases by $27.2\%$ points, and demographic parity increases by $15.7\%$ points on average across the simulations. However, in larger datasets with greater facial variation, fairness metrics generally remain constant, suggesting that racial balance by itself is insufficient to achieve parity in test performance across different racial groups.

研究动机与目标

• 探究训练数据中的种族构成如何影响面部情绪识别（FER）模型的公平性和性能。
• 评估在训练数据中实现种族平衡是否能缓解不同种族群体之间FER性能的差异。
• 识别数据构成之外的持续偏见来源，如标注偏见和种族估计误差。
• 评估在真实世界、高维、主观标签数据集（如AffectNet和CAFE）中，通过数据构成缓解偏见的局限性。

提出的方法

• 从AffectNet和CAFE数据集中提取具有不同种族比例的子采样子集，以模拟不同的训练分布。
• 在每个子采样子集上训练FER模型，并使用准确率、F1-score以及公平性度量（如人口均等性、等化机会）进行性能评估。
• 使用FairFace模型对AffectNet和CAFE中的图像进行种族估计，以支持按种族的评估与模拟。
• 比较不同种族构成模拟下的模型性能，重点关注种族特定的F1-score和公平性度量。
• 通过分析标注者的人口统计特征和标签一致性率，评估标注偏见，特别是在AffectNet的有限标注者设置下。
• 建议在未来模拟中排除种族估计准确性较低的群体（如阿拉伯人、南亚人），以隔离估计器偏见的影响。

Figure 1: Example of the procedure for simulating East Asian representation in a dataset. This represents a contrived case where East Asian is over-represented in the training set. In actual simulations, $N$ is much larger, with our largest experiment using $N=3500$ .

实验结果

研究问题

• RQ1 训练数据的种族构成在多大程度上影响FER模型的种族特定F1-score和公平性度量？
• RQ2 在训练数据中实现种族平衡在多大程度上能提升不同种族群体的公平性和性能？
• RQ3 为何即使训练数据实现种族平衡，公平性度量仍表现不佳？
• RQ4 标注偏见和种族估计误差在多大程度上加剧了FER模型中的不平等？

主要发现

• 在较小的、摆拍的数据集（CAFE）中，种族平衡显著提升了公平性：人口均等性提升了15.7个百分点，F1-score平均提升了27.2个百分点。
• 在更大的、更复杂的数据库（AffectNet）中，尽管实现了种族平衡，公平性度量的改善却微乎其微，表明仅靠构成平衡不足以解决问题。
• 仅当东亚面孔被过采样时，'愤怒'表情的F1-score才有所提升，表明数据构成的影响并非均匀分布。
• FairFace模型的种族估计误差明显存在，尤其在阿拉伯人和南亚人群中更为显著，可能扭曲模拟结果。
• AffectNet中的标注偏见——由于标注者数量有限且缺乏多样性——很可能是持续性差异的根源，标签一致性率从50.8%（中性）到79.6%（快乐）不等。
• 即使训练数据实现平衡，公平性度量（如等化机会）也未一致改善，表明仍存在未被识别的偏见，如算法或特征层级的偏见。

Figure 2: CAFE racial composition simulations with all test metrics. Each cell shows a varied simulated race with all non-simulated races held constant. CAFE is sampled at the participant level ( $N=5$ ). Every race shows improvement in test performance for the race-specific F1-score and demographic