[论文解读] Fair Multi-Exit Framework for Facial Attribute Classification

Ching-Hao Chiu, Hao‐Wei Chung+3 more|arXiv (Cornell University)|Jan 8, 2023

Face recognition and analysis被引用 6

一句话总结

该论文提出了一种面向公平性的多出口框架，用于面部属性分类，通过从浅层网络中实现早期退出，在不牺牲准确率的前提下提升了公平性。通过联合优化准确率与公平性目标来训练内部分类器，并采用基于置信度的早期退出策略，该方法在CelebA和UTK Face数据集上实现了最先进的准确率与公平性权衡。

ABSTRACT

Fairness has become increasingly pivotal in facial recognition. Without bias mitigation, deploying unfair AI would harm the interest of the underprivileged population. In this paper, we observe that though the higher accuracy that features from the deeper layer of a neural networks generally offer, fairness conditions deteriorate as we extract features from deeper layers. This phenomenon motivates us to extend the concept of multi-exit framework. Unlike existing works mainly focusing on accuracy, our multi-exit framework is fairness-oriented, where the internal classifiers are trained to be more accurate and fairer. During inference, any instance with high confidence from an internal classifier is allowed to exit early. Moreover, our framework can be applied to most existing fairness-aware frameworks. Experiment results show that the proposed framework can largely improve the fairness condition over the state-of-the-art in CelebA and UTK Face datasets.

研究动机与目标

• 探究一个反直觉的现象：尽管深层神经网络的准确率更高，但面部属性分类的公平性却随着特征从更深的网络层中提取而下降。
• 通过在每个内部分类器中引入公平性约束的多出口训练框架，解决面部属性分类中的公平性-准确率权衡问题。
• 开发一种灵活且可扩展的框架，可与现有公平性感知模型结合，进一步提升公平性与准确率。
• 验证基于置信度的早期退出策略在每一样本中选择最优预测的能力，以平衡公平性与准确率。

提出的方法

• 该框架通过在每个内部分类器（IC）上使用联合损失函数进行训练，扩展了多出口网络，以同时优化目标属性的准确率与公平性（通过相等机会衡量）。
• 每个内部分类器被训练以最小化组合损失：目标属性的分类损失与减少对敏感属性（如性别、种族）偏见的公平性损失。
• 在推理阶段，模型采用基于置信度的早期退出策略，选择第一个预测置信度超过阈值的内部分类器，以降低计算成本并提升公平性。
• 该框架设计为即插即用，可与现有公平性感知模型（如MFD、FSCL+等）无缝集成。
• 该方法利用ResNet主干网络中多个残差块（如Conv2_x至Conv5_x）的特征表示，每个块均可作为潜在的退出点。
• 消融研究证实，若在每个退出点施加公平性约束，可防止深层特征中出现的公平性下降问题，即使准确率提升也无影响。

实验结果

研究问题

• RQ1 在深层神经网络中提取特征时，尽管准确率更高，面部属性分类的公平性是否会下降？
• RQ2 具有公平性感知内部分类器的多出口训练框架，能否缓解深层特征中观察到的公平性下降问题？
• RQ3 与仅使用最终层相比，基于置信度的早期退出策略如何影响公平性-准确率权衡？
• RQ4 所提出的框架能否有效与现有公平性感知模型结合，进一步提升公平性而不降低准确率？

主要发现

• 在CelebA和UTK Face数据集中，与最终层分类器相比，所提框架将相等机会（EO）降低了74.5%，准确率平均下降不足1.7%。
• 在UTK Face数据集中，该框架平均比当前最先进方法提升11.3%的公平性，同时保持了具有竞争力的准确率。
• 在ME-MFD消融实验中，多出口框架相比标准MFD，平均将EO降低27%，并提升了1%的准确率。
• 早期退出策略根据每一样本选择最优退出点，平均实现27%的EO改进，同时保持高准确率，证明了实例特定退出选择的有效性。
• 在公平性-准确率权衡方面，该框架优于所有基线方法与最先进方法，在CelebA和UTK Face数据集上均实现了最佳性能。
• 消融研究证实，即使采用基于MMD的公平性正则化，深层特征中公平性仍会下降，但所提多出口框架成功在所有退出点保持了公平性。