[论文解读] Understanding and Mitigating Annotation Bias in Facial Expression Recognition

Yunliang Chen, Jungseock Joo|arXiv (Cornell University)|Aug 19, 2021

Face recognition and analysis参考文献 15被引用 11

一句话总结

本文揭示了面部表情识别数据集中系统性的标注偏差，尤其在标注喜悦与愤怒情绪时对女性存在偏好，并提出了AUC-FER框架，该框架利用面部动作单元（AUs）与三元组损失来校准预测并减少偏差。实验表明，与基线模型相比，AUC-FER将歧视得分降低了64%–89%，优于现有的去偏方法。

ABSTRACT

The performance of a computer vision model depends on the size and quality of its training data. Recent studies have unveiled previously-unknown composition biases in common image datasets which then lead to skewed model outputs, and have proposed methods to mitigate these biases. However, most existing works assume that human-generated annotations can be considered gold-standard and unbiased. In this paper, we reveal that this assumption can be problematic, and that special care should be taken to prevent models from learning such annotation biases. We focus on facial expression recognition and compare the label biases between lab-controlled and in-the-wild datasets. We demonstrate that many expression datasets contain significant annotation biases between genders, especially when it comes to the happy and angry expressions, and that traditional methods cannot fully mitigate such biases in trained models. To remove expression annotation bias, we propose an AU-Calibrated Facial Expression Recognition (AUC-FER) framework that utilizes facial action units (AUs) and incorporates the triplet loss into the objective function. Experimental results suggest that the proposed method is more effective in removing expression annotation bias than existing techniques.

研究动机与目标

• 调查人类标注者是否系统性地因性别而错误标注面部表情，尤其是在野外数据集中。
• 证明标注偏差（与数据构成偏差不同）会导致面部表情识别中不公平的模型预测。
• 开发一种去偏框架，可校正系统性标签偏差，而无需重新标注或修改训练数据。
• 证明使用面部动作单元（AUs）作为客观校准信号可提升表情识别模型的公平性。
• 在不同模型架构和数据集规模下验证所提方法的有效性。

提出的方法

• AUC-FER框架使用面部动作单元（AUs）作为辅助的客观信号，引导学习过程，减少表情标注中的主观性。
• 引入三元组损失函数，确保模型学习到对相同表情的表示相似，无论性别或其他受保护属性如何。
• 模型采用端到端训练，损失函数包含交叉熵用于表情分类，以及通过AUs实现公平性校准的三元组损失。
• 该框架设计为与模型架构无关，并在ResNet-50和MobileNetV2上进行测试以评估鲁棒性。
• 利用弱监督AUs检测（例如通过OpenFace）作为客观面部特征表示的代理，以校准主观的表情标签。
• 该方法无需重新标注数据，因此适用于具有偏差标注的真实世界数据集。

实验结果

研究问题

• RQ1 在野外面部表情数据集中是否存在系统性的标注偏差，特别是在男性与女性面部之间？
• RQ2 当偏差源于标签而非数据构成时，现有去偏方法在多大程度上无法有效缓解标注偏差？
• RQ3 面部动作单元（AUs）能否作为可靠、客观的校准信号，以减少面部表情识别中的偏差？
• RQ4 与最先进去偏技术相比，AUC-FER框架在减少表情识别中的性别歧视方面有多有效？
• RQ5 所提方法在不同模型架构和训练数据规模下是否具有泛化能力？

主要发现

• 研究揭示了野外面部表情数据集中显著的基于性别的标注偏差，女性面部即使在相同表情强度下也更可能被标注为喜悦或愤怒。
• 在有偏差标注上训练的基线模型表现出较高的歧视得分，例如在ExpW数据集上，基线ResNet-50模型在‘喜悦’表情上的歧视得分为0.059 ± 0.035。
• AUC-FER框架将ResNet-50上的歧视得分降低至0.006 ± 0.020，相比基线降低了89%。
• 在仅使用8,000张样本的小型训练集上的MobileNetV2上，AUC-FER相比基线将歧视得分降低了64%，达到0.028 ± 0.029的得分。
• AUC-FER在所有评估设置下均优于现有去偏方法，如Uniform Confusion、Gradient Projection以及Domain Discriminative/Independent方法。
• 该方法性能接近完全重新标注数据集的水平，证明其在无需重新标注的情况下有效缓解了标注偏差。