[论文解读] Is Face Recognition Sexist? No, Gendered Hairstyles and Biology Are

Vítor Albiero, Kevin W. Bowyer|arXiv (Cornell University)|Aug 16, 2020

Face recognition and analysis参考文献 18被引用 4

一句话总结

本文研究了为何面部识别系统对女性的识别准确率较低，确定了性别化发型和面部可变性的生物差异为主要原因。通过受控数据集和主成分分析（PCA）方法，作者表明，长发造成的遮挡会提高女性的误拒率，而女性面部本身可变性较小则导致更高的误识率——这挑战了人们普遍认为偏差源于训练数据或算法的假设。

ABSTRACT

Recent news articles have accused face recognition of being "biased", "sexist" or "racist". There is consensus in the research literature that face recognition accuracy is lower for females, who often have both a higher false match rate and a higher false non-match rate. However, there is little published research aimed at identifying the cause of lower accuracy for females. For instance, the 2019 Face Recognition Vendor Test that documents lower female accuracy across a broad range of algorithms and datasets also lists "Analyze cause and effect" under the heading "What we did not do". We present the first experimental analysis to identify major causes of lower face recognition accuracy for females on datasets where previous research has observed this result. Controlling for equal amount of visible face in the test images reverses the apparent higher false non-match rate for females. Also, principal component analysis indicates that images of two different females are inherently more similar than of two different males, potentially accounting for a difference in false match rates.

研究动机与目标

• 识别女性面部识别准确率较低的根本原因，反驳关于算法性别歧视的说法。
• 调查性别化发型导致的遮挡是否造成女性更高的误拒率。
• 检验男性与女性之间面部可变性的生物差异是否影响误识率。
• 使用最先进的深度卷积神经网络匹配器和公开可用的数据集，提供透明且可复现的分析。
• 挑战训练数据不平衡或算法设计是导致基于性别的准确率差异主要原因的假设。

提出的方法

• 在可见面部区域相等的数据集中进行受控实验，以隔离发型遮挡的影响。
• 使用主成分分析（PCA）比较男性与女性面部空间的内在可变性。
• 应用最先进的深度卷积神经网络匹配器（ArcFace），确保结果不依赖于单一算法。
• 在多个数据集（包括MORPH、Notre Dame和VGGFace2）上分析了伪造者和真实者的得分分布。
• 计算面部可见度百分比和面部差异热力图，以量化遮挡的影响。
• 执行PCA反演实验，评估是否可将男性面部可变性调整至与女性相当。

实验结果

研究问题

• RQ1 女性更高的误拒率是否源于性别化发型导致的更大面部遮挡？
• RQ2 男性与女性之间面部可变性的生物差异在多大程度上导致了女性更高的误识率？
• RQ3 当测试图像中可见面部区域相等时，能否消除女性在误拒率上的性别差异？
• RQ4 男性与女性之间伪造者得分分布的差异是否主要源于面部相似性的内在差异？
• RQ5 当训练和测试数据性别平衡时，面部识别准确率中的性别偏差是否仍然存在？

主要发现

• 在测试图像中控制可见面部区域相等后，女性误拒率的表观升高现象被逆转，表明长发遮挡是主要贡献因素。
• PCA分析显示，平均而言，两个不同的女性面部比两个不同的男性面部更相似，这解释了女性更高的误识率。
• 由于面部可变性降低，女性的伪造者得分分布自然地集中在更高的相似度值上，而标准匹配算法无法纠正此现象。
• 即使将女性图像数量减少以平衡数据规模，女性的PCA曲线仍比男性更不具可变性，证实了生物差异是根本原因。
• 研究未发现训练数据不平衡或算法设计是导致性别准确率差异的主要原因的证据。
• 结果表明，面部识别系统本身并非固有性别歧视，观察到的性别偏差源于真实存在的生物和社会因素，如发型和面部形态。