[论文解读] Characterizing the Variability in Face Recognition Accuracy Relative to Race

KS Krishnapriya, Kushal Vangara+3 more|arXiv (Cornell University)|Apr 15, 2019

Face recognition and analysis参考文献 10被引用 44

一句话总结

本文研究在 MORPH 数据集上，面部识别准确率在非裔美籍和高加索族裔队列之间在四个匹配器上的差异，显示欺真分布与真分布存在统计显著差异，并强调在固定阈值下 ROC 比较的局限性。它还通过 ICAO 标准评估图像质量，并发现影响准确性的质量差异。

ABSTRACT

Many recent news headlines have labeled face recognition technology as biased or racist. We report on a methodical investigation into differences in face recognition accuracy between African-American and Caucasian image cohorts of the MORPH dataset. We find that, for all four matchers considered, the impostor and the genuine distributions are statistically significantly different between cohorts. For a fixed decision threshold, the African-American image cohort has a higher false match rate and a lower false non-match rate. ROC curves compare verification rates at the same false match rate, but the different cohorts achieve the same false match rate at different thresholds. This means that ROC comparisons are not relevant to operational scenarios that use a fixed decision threshold. We show that, for the ResNet matcher, the two cohorts have approximately equal separation of impostor and genuine distributions. Using ICAO compliance as a standard of image quality, we find that the initial image cohorts have unequal rates of good quality images. The ICAO-compliant subsets of the original image cohorts show improved accuracy, with the main effect being to reducing the low-similarity tail of the genuine distributions.

研究动机与目标

• 激发对面部识别准确率中与种族相关的变异性的理解。
• 量化在多个匹配器上，非裔美籍与高加索族裔队列之间的分布差异。
• 评估固定阈值操作条件如何影响基于 ROC 的比较。
• 评估图像质量（ICAO 标准）在观察到的准确性差异中的作用。

提出的方法

• 对 MORPH 数据集中的非裔美籍与高加索族裔队列在四个匹配器上进行比较。
• 分析欺真分数和真分数分布在队列之间的统计差异。
• 使用 ROC 曲线在固定误匹配率下比较认证率，并讨论阈值含义。
• 将 ICAO 合规性作为图像质量标准，以检查对准确性的影响。
• 研究图像质量变化如何影响分数分布的尾部。

实验结果

研究问题

• RQ1 在所研究的匹配器中，非裔美籍与高加索族裔队列的欺真分数和真分数分布是否存在差异？
• RQ2 固定的决策阈值如何影响跨队列的 ROC 基于比较？
• RQ3 符合 ICAO 标准的图像质量对面部识别准确性以及分布尾部有何影响？
• RQ4 在不同匹配器之间，欺真分数与真分数的分离是否等效？
• RQ5 图像质量差异在多大程度上解释所观察到的性能差异？

主要发现

• 对于所有四个匹配器，欺真分布和真分布在非裔美籍与高加索族裔队列之间具有统计学差异。
• 在固定决策阈值下，非裔美籍队列的误匹配率较高，假非匹配率较低。
• ROC 曲线在跨队列的不同阈值下显示相同的误匹配率，表明在固定阈值的运营场景中 ROC 比较可能不合适。
• 对于 ResNet 匹配器，两队列在欺真分布与真分布的分离近似相等。
• 符合 ICAO 的队列子集通过减少真分布低相似尾部来提高准确性。