[论文解读] Fair SA: Sensitivity Analysis for Fairness in Face Recognition

Aparna Joshi, Xavier Suau+3 more|arXiv (Cornell University)|Feb 8, 2022

Face Recognition and Perception被引用 4

一句话总结

本文提出 Fair SA，一种新颖的框架，将视觉心理物理学敏感性分析（VPSA）扩展至在图像扰动下评估人脸识别模型的群体公平性。通过测量模型在运动模糊、曝光变化和JPEG压缩等渐进式退化下的鲁棒性与子群特定偏差，发现即使高精度模型在真实世界失真下也表现出隐藏的不公平性，其中 VGGFace2 在高扰动水平下公平性最差，尽管其鲁棒性最强。

ABSTRACT

As the use of deep learning in high impact domains becomes ubiquitous, it is increasingly important to assess the resilience of models. One such high impact domain is that of face recognition, with real world applications involving images affected by various degradations, such as motion blur or high exposure. Moreover, images captured across different attributes, such as gender and race, can also challenge the robustness of a face recognition algorithm. While traditional summary statistics suggest that the aggregate performance of face recognition models has continued to improve, these metrics do not directly measure the robustness or fairness of the models. Visual Psychophysics Sensitivity Analysis (VPSA) [1] provides a way to pinpoint the individual causes of failure by way of introducing incremental perturbations in the data. However, perturbations may affect subgroups differently. In this paper, we propose a new fairness evaluation based on robustness in the form of a generic framework that extends VPSA. With this framework, we can analyze the ability of a model to perform fairly for different subgroups of a population affected by perturbations, and pinpoint the exact failure modes for a subgroup by measuring targeted robustness. With the increasing focus on the fairness of models, we use face recognition as an example application of our framework and propose to compactly visualize the fairness analysis of a model via AUC matrices. We analyze the performance of common face recognition models and empirically show that certain subgroups are at a disadvantage when images are perturbed, thereby uncovering trends that were not visible using the model's performance on subgroups without perturbations.

研究动机与目标

• 填补在运动模糊、曝光变化和噪声等真实世界图像退化下人脸识别模型公平性评估的空白。
• 开发一种联合测量模型鲁棒性与子群公平性的框架，超越传统汇总统计量。
• 通过 AUC 矩阵可视化扰动下的子群特定偏差，为模型公平性提供可操作的洞察。
• 识别在特定扰动下某些人口子群（如年轻、男性、肤色较浅者）系统性受益或受损的失效模式。

提出的方法

• 通过引入子群感知的扰动分析扩展 VPSA，测量模型在受保护属性（如性别、种族、面部特征）下随图像渐进退化而表现的变化。
• 在测试图像上施加受控扰动，如运动模糊、饱和度变化、曝光调整和 JPEG 压缩。
• 计算 Fair SA 曲线，将模型性能（如验证准确率）对每个子群的扰动水平进行绘图，以可视化偏差趋势。
• 使用 AUC 矩阵紧凑表示多种属性和扰动类型下的公平性，L1 范数用于总结每种模型的整体公平性。
• 对 AUC 矩阵进行行和列方向的边际化，以识别对公平性影响最大的属性和扰动。
• 采用自匹配和验证任务，分别在身份无关和身份特定条件下评估公平性。

实验结果

研究问题

• RQ1 在对不同人口子群进行公平性评估时，常见人脸识别模型在渐进式图像扰动下的表现如何？
• RQ2 在特定类型的图像退化下，哪些人口子群系统性地受益或受损？
• RQ3 模型鲁棒性（通过 VPSA 衡量）与扰动下的公平性之间有多大相关性？
• RQ4 如何有效可视化和总结扰动下的公平性，以支持模型评估与调试？
• RQ5 Fair SA 能否检测到在标准准确率指标下不可见、但在真实世界图像退化下显现的隐藏偏差？

主要发现

• 即使在干净基准上准确率达 99% 的模型，在扰动下也表现出显著的子群偏差，例如在运动模糊下偏向年轻个体。
• VGGFace2 虽在 VPSA 下最鲁棒，但在高扰动水平下公平性最差，尤其在曝光和饱和度变化下对男性和肤色较浅子群造成显著不利影响。
• FaceNet 在运动模糊下表现出非单调的公平性趋势，偏差先增加后减少，可能由于高模糊水平下的性能下降。
• 对显著面部特征（如老人的明显皱纹或胡须）造成退化的扰动（如模糊或压缩）对具有这些特征的子群影响最大。
• 散斑噪声、运动模糊和饱和度变化是损害模型公平性的最严重扰动，如 AUC 矩阵中较高的列方向 L1 范数所示。
• AUC 矩阵有效揭示了隐藏的公平性趋势，例如模型在高曝光下偏向黑发，在 JPEG 压缩下偏向浓妆，这些在标准准确率指标下无法察觉。