[论文解读] Evaluating Proposed Fairness Models for Face Recognition Algorithms

John J. Howard, Eli Laird+4 more|arXiv (Cornell University)|Mar 9, 2022

Face recognition and analysis被引用 5

一句话总结

本文利用新发布的126个算法的人口统计学细分错误率数据集，评估了两种现有的面部识别算法公平性度量方法。提出了可解释性的功能公平性度量标准（FFMC），并引入了GARBE——一种结合Pareto优化的新型公平性度量，以在准确率与公平性之间实现平衡，为实际部署中的算法选择提供实用框架。

ABSTRACT

The development of face recognition algorithms by academic and commercial organizations is growing rapidly due to the onset of deep learning and the widespread availability of training data. Though tests of face recognition algorithm performance indicate yearly performance gains, error rates for many of these systems differ based on the demographic composition of the test set. These "demographic differentials" in algorithm performance can contribute to unequal or unfair outcomes for certain groups of people, raising concerns with increased worldwide adoption of face recognition systems. Consequently, regulatory bodies in both the United States and Europe have proposed new rules requiring audits of biometric systems for "discriminatory impacts" (European Union Artificial Intelligence Act) and "fairness" (U.S. Federal Trade Commission). However, no standard for measuring fairness in biometric systems yet exists. This paper characterizes two proposed measures of face recognition algorithm fairness (fairness measures) from scientists in the U.S. and Europe. We find that both proposed methods are challenging to interpret when applied to disaggregated face recognition error rates as they are commonly experienced in practice. To address this, we propose a set of interpretability criteria, termed the Functional Fairness Measure Criteria (FFMC), that outlines a set of properties desirable in a face recognition algorithm fairness measure. We further develop a new fairness measure, the Gini Aggregation Rate for Biometric Equitability (GARBE), and show how, in conjunction with the Pareto optimization, this measure can be used to select among alternative algorithms based on the accuracy/fairness trade-space. Finally, we have open-sourced our dataset of machine-readable, demographically disaggregated error rates. We believe this is currently the largest open-source dataset of its kind.

研究动机与目标

• 评估两种提出的面部识别算法公平性度量的可解释性与实际应用价值。
• 识别现有公平性度量在应用于按种族和性别细分的真实世界错误率数据时的不足之处。
• 建立一组可解释性标准——功能公平性度量标准（FFMC）——以评估生物识别系统中的公平性度量。
• 开发一种新型公平性度量Gini聚合率生物识别公平性（GARBE），以实现在不同人口群体间准确率与公平性的有效平衡。
• 通过开源迄今为止最大规模的公开人口统计学细分面部识别错误率数据集，促进透明度与可复现性。

提出的方法

• 作者从NIST报告中收集并解析了126个面部识别算法的错误率，按种族和性别进行细分，形成可机器读取的CSV数据集。
• 利用该数据集评估了两种现有公平性度量，分析其数学属性及在真实世界情境下的可解释性。
• 定义了功能公平性度量标准（FFMC）作为一组理想属性，包括单调性、有界性以及对人口差异的敏感性。
• 基于基尼系数开发了一种新型公平性度量GARBE（Gini聚合率生物识别公平性），用于量化不同人口群体间的公平性。
• 应用Pareto优化方法，识别在准确率-公平性权衡空间中实现最优平衡的算法配置。
• 将数据集与代码发布在GitHub上，以支持未来机器学习公平性研究。

实验结果

研究问题

• RQ1 当应用于真实世界的人口统计学细分面部识别错误率时，现有公平性度量的表现如何？
• RQ2 在生物识别系统中，公平性度量所必需的数学属性与可解释性特征是什么？
• RQ3 能否设计一种新型公平性度量，以在不同人口群体间有效平衡准确率与公平性？
• RQ4 当前的公平性度量在多大程度上反映了感知或社会意义上的公平性，而不仅仅是统计上的公平？
• RQ5 开放数据与标准化评估框架在提升面部识别中稳健公平性度量的发展方面，能发挥何种作用？

主要发现

• 所评估的两种公平性度量在应用于真实世界错误率数据时表现出数学属性，使其在小群体规模下难以解释。
• 所提出的功能公平性度量标准（FFMC）为评估生物识别应用中公平性度量的适用性提供了结构化框架。
• GARBE度量成功量化了不同人口群体间的公平性，并实现了在准确率-公平性权衡空间中的有效Pareto优化。
• 开源的126个面部识别算法的人口统计学细分错误率数据集是迄今为止公开可用的最大同类数据集。
• 本研究强调了需要更全面的数据集，包括群体间错误率和多阈值性能数据，以改进公平性审计。
• 数学公平性与感知公平性之间仍存在关键差距，表明即使在统计上公平的系统，也可能被用户感知为不公平。