[论文解读] Asymmetric Rejection Loss for Fairer Face Recognition

Haoyu Qin|arXiv (Cornell University)|Feb 9, 2020

Face recognition and analysis参考文献 31被引用 4

一句话总结

本文提出了一种非对称拒绝损失（Asymmetric Rejection Loss, ARL），一种半监督方法，利用少数族裔群体中未标注的图像来减少人脸识别中的种族偏见。通过将每个未标注图像视为一个独立类别，并在对比损失中以非对称方式结合已标注和未标注数据，同时引入余弦惩罚项，ARL 在不降低高加索人族裔准确率的前提下，提升了非裔、亚裔和印度裔群体的性能，在 RFW 和 MS_wo_RFW 基准上实现了最先进的公平性提升。

ABSTRACT

Face recognition performance has seen a tremendous gain in recent years, mostly due to the availability of large-scale face images dataset that can be exploited by deep neural networks to learn powerful face representations. However, recent research has shown differences in face recognition performance across different ethnic groups mostly due to the racial imbalance in the training datasets where Caucasian identities largely dominate other ethnicities. This is actually symptomatic of the under-representation of non-Caucasian ethnic groups in the celebdom from which face datasets are usually gathered, rendering the acquisition of labeled data of the under-represented groups challenging. In this paper, we propose an Asymmetric Rejection Loss, which aims at making full use of unlabeled images of those under-represented groups, to reduce the racial bias of face recognition models. We view each unlabeled image as a unique class, however as we cannot guarantee that two unlabeled samples are from a distinct class we exploit both labeled and unlabeled data in an asymmetric manner in our loss formalism. Extensive experiments show our method's strength in mitigating racial bias, outperforming state-of-the-art semi-supervision methods. Performance on the under-represented ethnicity groups increases while that on the well-represented group is nearly unchanged.

研究动机与目标

• 解决训练数据集中非高加索族裔代表性不足导致的人脸识别模型种族偏见问题。
• 开发一种半监督方法，有效利用未标注的少数族裔群体图像，而无需身份标注。
• 通过提升少数族裔群体的性能，同时保持或略微降低主流群体的性能，改善人脸识别的公平性。
• 研究性别不平衡的影响，并提出一种针对未标注数据的性别平衡采样策略，以进一步缓解偏见。

提出的方法

• 提出非对称拒绝损失（ARL），将每个未标注图像视为一个独立类别，并在对比损失函数中非对称地结合已标注类别与未标注类别。
• 使用基于余弦相似度的惩罚项，促使模型即使在缺乏真实标签的情况下，也能区分不同族裔的未标注图像。
• 引入基于 K 的策略，将具有不同族裔标签的 K 个未标注图像作为负样本，以增强族裔之间的判别能力。
• 在小批量内对安全的未标注图像对施加余弦惩罚，以增强特征分离和模型泛化能力。
• 通过基于预测性别分数的过滤与选择，实现未标注数据的性别平衡采样，以减少性别偏见。
• 使用 Arcface 作为基础损失，将 ARL 和余弦惩罚项整合到联合优化框架中进行模型训练。

实验结果

研究问题

• RQ1 能否有效利用少数族裔群体的未标注图像来减少人脸识别模型中的种族偏见？
• RQ2 在损失函数中对已标注和未标注数据采用非对称处理，是否相比对称或聚类方法能带来更好的公平性表现？
• RQ3 对未标注图像对施加余弦惩罚，是否能提升模型泛化能力并减少不同族裔间的偏见？
• RQ4 未标注数据中的性别不平衡在多大程度上影响模型公平性？性别平衡采样能否缓解这一问题？

主要发现

• 在 RFW 基准上，ARL 将非裔、亚裔和印度裔群体的验证准确率最高提升了 5.5 个百分点，而高加索人族裔的性能基本保持不变。
• ARL+C（含余弦惩罚）在 RFW 的困难样本对上实现了 87.36% 的平均准确率，较基线的 85.64% 提升，标准差降至 3.05，表明公平性显著改善。
• 在 MS_wo_RFW 上，ARL+C 将平均准确率从基线的 93.51% 提升至 94.20%，标准差从 2.69 降至 2.38，证实了性能差异的减小。
• 余弦惩罚策略提升了少数族裔群体的性能，但未标注数据中的性别不平衡会负面影响结果，尤其对亚裔女性群体影响显著。
• 对未标注图像实施性别平衡采样后，亚裔群体的性能得到可测量的提升，尤其在严格 FPR 阈值下表现更优，证明了数据中性别偏见的影响。
• 即使未标注集中每个个体仅有一张图像，该方法依然有效，避免了因聚类质量差或分组噪声带来的问题。