[论文解读] Consistent Instance False Positive Improves Fairness in Face Recognition

Xingkun Xu, Yuge Huang+6 more|arXiv (Cornell University)|Jun 10, 2021

Face recognition and analysis参考文献 23被引用 4

一句话总结

该论文提出了一种新颖的损失函数，通过惩罚不一致的实例假正率（FPR），在无需提供人口统计学标注的情况下提升了人脸识别的公平性。通过在Softmax损失中引入动态惩罚项，强制实现个体样本间FPR的一致性，该方法有效降低了种族、性别和年龄等多样化属性上的偏差，在RFW和BFW基准上实现了最先进（SOTA）的公平性表现。

ABSTRACT

Demographic bias is a significant challenge in practical face recognition systems. Existing methods heavily rely on accurate demographic annotations. However, such annotations are usually unavailable in real scenarios. Moreover, these methods are typically designed for a specific demographic group and are not general enough. In this paper, we propose a false positive rate penalty loss, which mitigates face recognition bias by increasing the consistency of instance False Positive Rate (FPR). Specifically, we first define the instance FPR as the ratio between the number of the non-target similarities above a unified threshold and the total number of the non-target similarities. The unified threshold is estimated for a given total FPR. Then, an additional penalty term, which is in proportion to the ratio of instance FPR overall FPR, is introduced into the denominator of the softmax-based loss. The larger the instance FPR, the larger the penalty. By such unequal penalties, the instance FPRs are supposed to be consistent. Compared with the previous debiasing methods, our method requires no demographic annotations. Thus, it can mitigate the bias among demographic groups divided by various attributes, and these attributes are not needed to be previously predefined during training. Extensive experimental results on popular benchmarks demonstrate the superiority of our method over state-of-the-art competitors. Code and trained models are available at https://github.com/Tencent/TFace.

研究动机与目标

• 为解决人脸识别中的种族偏差问题，且不依赖于在现实场景中常不可用的人口统计学标注。
• 通过在实例层面促进假正率的一致性，提升在种族、性别和年龄等多样化属性上的公平性。
• 开发一种可泛化的去偏方法，不局限于预定义的人口统计群体或特定属性。
• 提供一种即插即用的解决方案，兼容标准的基于Softmax的面部识别损失，无需重新训练或修改网络结构即可提升公平性。

提出的方法

• 论文提出了一种新型损失函数，其包含一个与实例FPR与整体FPR之比成比例的惩罚项。
• 实例FPR定义为：对于给定样本，超过统一阈值的非目标相似度数量与非目标相似度总数的比值。
• 统一阈值基于目标整体FPR确定，以确保数据集内的一致性。
• 该惩罚项被添加到基于Softmax的损失的分母中，使实例FPR较高的样本损失增大，从而鼓励FPR的一致性。
• 该方法使用标准人脸识别框架进行端到端训练，无需额外监督或属性标注。
• 该方法可泛化至超越种族偏差的场景，适用于由输入数据定义的任意属性群体。

实验结果

研究问题

• RQ1 是否可以利用实例层面的FPR一致性，在无需人口统计学标注的情况下减少人脸识别中的种族偏差？
• RQ2 在个体样本上强制实施FPR一致性，与在群体层面施加公平性约束相比，哪种方法更能有效降低偏差？
• RQ3 一种惩罚不一致FPR的损失函数，能否同时提升种族、性别和年龄等多重属性的公平性？
• RQ4 该方法在保持或提升标准基准测试识别准确率的同时，能在多大程度上改善公平性？

主要发现

• 在RFW基准上，该方法实现了96.56%的平均准确率，标准差为0.75，优于SOTA方法在平均准确率和公平性方面的表现。
• 在RFW上，整体FPR为10^-5时，该方法将偏差程度降低至257.53，显著低于SOTA的RL-RBN方法（351.98），表明公平性得到提升。
• 在BFW基准上，整体FPR为10^-7时，该方法的偏差程度为1.18，远低于SOTA的RL-RBN方法（2.44），证明其在缓解种族与性别偏差方面的有效性。
• 该方法同时提升了四个种族群体（非洲、亚洲、高加索、印度）的准确率，相较于SOTA，平均准确率最高提升0.77%。
• 在使用ResNet-100时，该方法在RFW上实现了97.45%的平均准确率和0.85的标准差，显示出在深层网络架构上的强大性能。
• 该方法在RFW和BFW中所有人口统计群体的FPR和TPR上均表现出一致的改进，证实了其在多种属性上的泛化能力。