[论文解读] Jointly De-biasing Face Recognition and Demographic Attribute Estimation

Sixue Gong, Xiaoming Liu+1 more|arXiv (Cornell University)|Nov 19, 2019

Face recognition and analysis参考文献 57被引用 16

一句话总结

该论文提出DebFace，一种新型对抗性网络，通过学习身份、性别、年龄和种族的解耦表征，联合去偏面部识别与人口统计属性估计。通过使用多任务对抗性训练以最小化特征因子之间的相关性，DebFace在保持基准数据集最先进性能的同时，减少了识别与属性预测中的偏差。

ABSTRACT

We address the problem of bias in automated face recognition and demographic attribute estimation algorithms, where errors are lower on certain cohorts belonging to specific demographic groups. We present a novel de-biasing adversarial network (DebFace) that learns to extract disentangled feature representations for both unbiased face recognition and demographics estimation. The proposed network consists of one identity classifier and three demographic classifiers (for gender, age, and race) that are trained to distinguish identity and demographic attributes, respectively. Adversarial learning is adopted to minimize correlation among feature factors so as to abate bias influence from other factors. We also design a new scheme to combine demographics with identity features to strengthen robustness of face representation in different demographic groups. The experimental results show that our approach is able to reduce bias in face recognition as well as demographics estimation while achieving state-of-the-art performance.

研究动机与目标

• 解决面部识别与属性估计中的群体偏差问题，即代表性不足群体的性能下降。
• 克服传统去偏方法的局限性，即当人口统计分类器本身存在偏差时，去偏效果失效。
• 通过对抗性多任务学习，联合学习身份与人口统计属性的解耦表征。
• 通过在需要时融合无群体特征的身份表征与群体特征，实现公平性与准确性的平衡。
• 证明解耦表征可减少面部识别与人口统计属性估计中的偏差。

提出的方法

• DebFace采用多任务学习框架，包含一个身份分类器和三个人口统计分类器（性别、年龄、种族），用于解耦特征因子。
• 在所有四个任务中应用对抗性学习，每个分类器作为判别器，以最小化与其他特征因子的相关性。
• 网络使用共享编码器提取特征，随后通过任务特定的头部进行身份与人口统计预测。
• 提出一种新型融合机制，将人口统计特征与身份特征结合，形成鲁棒且具有群体意识的表征（DemoID），以提升泛化能力。
• 模型通过端到端的对抗性损失进行训练，以促进特征解耦并减少偏差传播。
• 利用潜在特征的面部重建，定性验证身份表征中群体特征的减弱。

实验结果

研究问题

• RQ1 对抗性多任务学习能否有效同时去偏面部识别与人口统计属性估计？
• RQ2 与独立去偏相比，联合学习身份与人口统计表征是否能更有效地减少偏差？
• RQ3 从身份特征中移除群体信息后，对不同群体的面部验证准确性有何影响？
• RQ4 融合表征能否在不重新引入偏差的前提下，结合去偏身份特征与群体特征的优势？
• RQ5 与先前最先进方法相比，所提方法在多大程度上减少了群体偏差？

主要发现

• DebFace-ID在RFW数据集上将群体偏差度量降至0.83，优于先前工作的0.93，同时保持高验证准确性。
• 在RFW数据集中，DebFace-ID对白人、黑人、亚洲人和印度人的验证准确率分别为95.95%、93.67%、94.33%和94.78%，表现出更好的公平性。
• 在DebFace-ID上，人口统计属性分类准确率显著下降（如性别为73.36%，种族为61.79%），证实了有效的特征解耦。
• 在LFW数据集上，DemoID实现98.97%的验证准确率，公平性优于BaseFace（99.38%），且准确性保持竞争力。
• 在IJB-C数据集上，FAR为0.1%时，DebFace-ID实现89.5%的TAR，略低于BaseFace（92.9%），但跨群体错误接受率显著降低。
• 从DebFace-ID重建的面部图像显示出减弱的群体特征（如种族与年龄），而身份特征得以保留，验证了特征解耦的有效性。