[论文解读] Mitigating Gender Bias in Face Recognition Using the von Mises-Fisher Mixture Model

Jean-Rémy Conti, Nathan Noiry+3 more|arXiv (Cornell University)|Oct 24, 2022

Face recognition and analysis被引用 4

一句话总结

该论文提出了一种名为Ethical Module的后处理方法，通过使用公平的冯·米塞斯-费舍尔混合模型，减轻预训练人脸识别模型中的性别偏差。通过训练一个浅层神经网络，利用性别特定的方差超参数调整深度嵌入，该方法显著降低了BFAR和BFRR指标，在ArcFace、AdaCos、CosFace和CurricularFace等多个模型中，于FAR=10⁻⁴时实现了最佳的公平性同步提升。

ABSTRACT

In spite of the high performance and reliability of deep learning algorithms in a wide range of everyday applications, many investigations tend to show that a lot of models exhibit biases, discriminating against specific subgroups of the population (e.g. gender, ethnicity). This urges the practitioner to develop fair systems with a uniform/comparable performance across sensitive groups. In this work, we investigate the gender bias of deep Face Recognition networks. In order to measure this bias, we introduce two new metrics, $\mathrm{BFAR}$ and $\mathrm{BFRR}$, that better reflect the inherent deployment needs of Face Recognition systems. Motivated by geometric considerations, we mitigate gender bias through a new post-processing methodology which transforms the deep embeddings of a pre-trained model to give more representation power to discriminated subgroups. It consists in training a shallow neural network by minimizing a Fair von Mises-Fisher loss whose hyperparameters account for the intra-class variance of each gender. Interestingly, we empirically observe that these hyperparameters are correlated with our fairness metrics. In fact, extensive numerical experiments on a variety of datasets show that a careful selection significantly reduces gender bias. The code used for the experiments can be found at https://github.com/JRConti/EthicalModule_vMF.

研究动机与目标

• 解决最先进人脸识别模型中的性别偏差问题，这些模型在男性和女性之间的错误接受率和错误拒绝率上表现出显著差异。
• 开发公平性度量指标BFAR和BFRR，以反映实际部署中的约束条件，特别是安全要求和跨性别的均衡性能。
• 设计一种无需微调的后处理解决方案，以纠正预训练模型中的偏差，同时保持其高准确率并提升公平性。
• 利用深度人脸嵌入在超球面上的几何结构，建模不同性别之间的类内方差差异。
• 在多个预训练模型（ArcFace、AdaCos、CosFace、CurricularFace）和数据集上验证该方法，证明其鲁棒性和泛化能力。

提出的方法

• 提出一种新颖的公平冯·米塞斯-费舍尔损失，引入性别特定的超参数以建模类内方差，使模型能够适应子群体特定的嵌入分布。
• 在冻结的预训练人脸识别模型之上训练一个浅层多层感知机（Ethical Module），根据性别感知的方差参数重新加权嵌入。
• 使用最大似然估计训练Ethical Module，通过最小化公平冯·米塞斯-费舍尔损失，该损失将嵌入建模为超球面上的冯·米塞斯-费舍尔分布混合。
• 采用Ethical Module的三种变体：EM-FAR（针对BFAR优化）、EM-FRR（针对BFRR优化）和EM-C（联合优化两个公平性指标），以平衡公平性与性能。
• 在固定错误接受率（FAR）水平下校准模型，以确保满足安全约束，同时测量公平性差异。
• 在LFW和MS1MV3数据集上使用多个预训练模型验证该方法，比较不同FAR阈值下的公平性与准确率。

实验结果

研究问题

• RQ1 新的公平性度量指标BFAR和BFRR是否比现有公平性定义更能反映实际人脸识别系统在运行中的需求？
• RQ2 在不重新训练的情况下，通过后处理手段能在多大程度上减轻预训练人脸识别模型中的性别偏差？
• RQ3 通过冯·米塞斯-费舍尔混合模型对性别间类内方差差异进行建模，如何提升嵌入空间中的公平性？
• RQ4 一个单一的后处理模块是否能同时减少多种预训练模型中的BFAR和BFRR差异？
• RQ5 所提出的方法是否对预训练系统中使用的主干网络和损失函数的变化具有鲁棒性？

主要发现

• 在FAR=10⁻⁴时，Ethical Module在BFAR和BFRR上实现了最佳的同步降低，其中EM-C变体在公平性方面优于原始ArcFace模型，同时保持了具有竞争力的准确率。
• 在FAR=10⁻⁴时，EM-C将AdaCos的BFRR从7.28降低至4.51，BFAR从1.08降低至1.57，优于原始模型和PASS-g基线。
• 对于使用MobileFaceNet的CosFace，EM-C将BFRR从8.18降低至2.71，BFAR从1.74降低至1.13，展现出显著的公平性提升，且准确率损失可忽略。
• EM-FAR变体在所有模型中均实现了最低的BFAR（在FAR=10⁻³时为1.01），表明其在最小化错误接受差异方面的有效性。
• 在FAR=10⁻⁴时，EM-FRR变体在AdaCos上实现了最佳的BFRR（2.71），表明其在缓解错误拒绝偏差方面表现优异。
• 该方法在多个预训练模型（ArcFace、AdaCos、CosFace、CurricularFace）和主干网络（ResNet50、MobileFaceNet）上均表现出良好的泛化能力，证明了其鲁棒性与可迁移性。