[论文解读] Rethinking Bias Mitigation: Fairer Architectures Make for Fairer Face Recognition

Samuel Dooley, Rhea Sanjay Sukthanker+4 more|arXiv (Cornell University)|Oct 18, 2022

Face recognition and analysis被引用 11

一句话总结

本文提出了一种新颖的方法，通过联合使用神经架构搜索（NAS）和超参数优化（HPO）来减轻人脸识别中的偏差。研究发现，偏差本质上源于模型架构本身。通过帕累托最优搜索，该方法识别出的模型在多个数据集和敏感属性（包括种族、性别和年龄）上，显著优于现有架构和去偏方法，在准确率和公平性方面均有提升。

ABSTRACT

Face recognition systems are widely deployed in safety-critical applications, including law enforcement, yet they exhibit bias across a range of socio-demographic dimensions, such as gender and race. Conventional wisdom dictates that model biases arise from biased training data. As a consequence, previous works on bias mitigation largely focused on pre-processing the training data, adding penalties to prevent bias from effecting the model during training, or post-processing predictions to debias them, yet these approaches have shown limited success on hard problems such as face recognition. In our work, we discover that biases are actually inherent to neural network architectures themselves. Following this reframing, we conduct the first neural architecture search for fairness, jointly with a search for hyperparameters. Our search outputs a suite of models which Pareto-dominate all other high-performance architectures and existing bias mitigation methods in terms of accuracy and fairness, often by large margins, on the two most widely used datasets for face identification, CelebA and VGGFace2. Furthermore, these models generalize to other datasets and sensitive attributes. We release our code, models and raw data files at https://github.com/dooleys/FR-NAS.

研究动机与目标

• 探究人脸识别中的模型偏差是否主要源于架构的归纳偏差，而非仅来自训练数据或优化过程。
• 解决传统去偏技术（预处理、内处理和后处理）在人脸识别等复杂问题中持续失效的问题。
• 通过联合优化模型架构与超参数，为机器学习中的公平性提出一种新范式，兼顾准确率与公平性。
• 评估公平特征在不同数据集和敏感属性（包括种族和年龄）上的泛化能力。
• 发布代码、模型和数据，以支持可复现性，并便于适配新的公平性度量标准和数据集。

提出的方法

• 在CelebA和VGGFace2数据集上对29种多样化架构（如ResNets、Vision Transformers、MobileNetV3）进行大规模实证分析，量化架构与超参数对公平性的影响。
• 基于消融研究中表现最佳的模型设计神经架构搜索（NAS）空间，聚焦于在准确率与公平性之间取得平衡的架构。
• 对基于序列模型的算法配置（SMAC）框架进行改进，以支持多目标NAS与HPO，同时优化测试准确率与多个公平性度量指标。
• 定义并计算多种公平性度量，包括排名差异、差异、比率与误差比率，以评估模型在受保护属性上的公平性。
• 将搜索过程中表现最佳的模型迁移到外部数据集（如RFW用于种族，AgeDB用于年龄），以测试公平表征的泛化能力。
• 使用t-SNE可视化比较NAS优化模型与标准模型在受保护属性（如种族、性别、年龄）特征空间中的线性可分性。

实验结果

研究问题

• RQ1 神经网络架构与超参数在多大程度上独立影响人脸识别系统的公平性？
• RQ2 对架构与超参数进行联合搜索，能否获得在准确率与公平性上均达到帕累托最优的模型，超越现有最先进方法？
• RQ3 NAS优化模型所学习的公平特征是否能泛化到训练过程中未使用的其他数据集和敏感属性？
• RQ4 公平模型与标准模型在学习到的特征空间中，受保护属性（如种族、性别、年龄）的线性可分性有何差异？
• RQ5 在真实世界的人脸识别基准测试中，基于NAS的架构搜索能否优于传统的去偏策略（如预处理、内处理和后处理）？

主要发现

• 架构的归纳偏差是人脸识别中偏差的主要来源，即使在随机初始化的模型中，也表现出与训练后模型相似的偏差模式。
• NAS + HPO方法发现的模型（如SMAC_301、SMAC_000）在准确率与公平性方面均帕累托优于所有现有高性能架构与去偏技术，在CelebA与VGGFace2上表现卓越。
• 在VGGFace2上，最佳NAS模型（SMAC_301）达到95.10%的准确率与81.43%的公平性（误差比率），显著优于DPN_MagFace（92.16%准确率，60.80%公平性）。
• 在RFW数据集（以种族为受保护属性）上，NAS优化模型在全部五项公平性度量指标上均达到帕累托最优或帕累托占优，展现出强大的泛化能力。
• 在AgeDB上（以年龄为受保护属性），NAS模型实现80.37%准确率与26.51%差异度，优于DPN_MagFace（68.17%准确率，31.29%差异度），表现出对不同年龄群体的鲁棒性。
• t-SNE可视化结果证实，与标准模型（如DPN_MagFace）相比，NAS优化模型在最后一层特征空间中显著降低了受保护属性（如种族）的线性可分性。