[论文解读] Learning Fair Face Representation With Progressive Cross Transformer

Yong Li, Yufei Sun+3 more|arXiv (Cornell University)|Aug 11, 2021

Face recognition and analysis参考文献 52被引用 10

一句话总结

本文提出渐进式交叉注意力变换器（PCT），一种信号去噪方法，通过分阶段的交叉注意力机制，将与身份相关的面部特征与由种族引起的噪声解耦。通过将面部表征建模为广义函数分解，PCT 在 BFW 和 RFW 基准上实现了最先进的面部识别准确率与公平性，同时有效抑制了人口统计偏差。

ABSTRACT

Face recognition (FR) has made extraordinary progress owing to the advancement of deep convolutional neural networks. However, demographic bias among different racial cohorts still challenges the practical face recognition system. The race factor has been proven to be a dilemma for fair FR (FFR) as the subject-related specific attributes induce the classification bias whilst carrying some useful cues for FR. To mitigate racial bias and meantime preserve robust FR, we abstract face identity-related representation as a signal denoising problem and propose a progressive cross transformer (PCT) method for fair face recognition. Originating from the signal decomposition theory, we attempt to decouple face representation into i) identity-related components and ii) noisy/identity-unrelated components induced by race. As an extension of signal subspace decomposition, we formulate face decoupling as a generalized functional expression model to cross-predict face identity and race information. The face expression model is further concretized by designing dual cross-transformers to distill identity-related components and suppress racial noises. In order to refine face representation, we take a progressive face decoupling way to learn identity/race-specific transformations, so that identity-unrelated components induced by race could be better disentangled. We evaluate the proposed PCT on the public fair face recognition benchmarks (BFW, RFW) and verify that PCT is capable of mitigating bias in face recognition while achieving state-of-the-art FR performance. Besides, visualization results also show that the attention maps in PCT can well reveal the race-related/biased facial regions.

研究动机与目标

• 为解决面部识别中的群体偏差，特别是种族偏差，尽管准确率高，但其公平性仍受到损害。
• 在不牺牲识别性能的前提下，将面部表征中的身份相关特征与种族相关噪声解耦。
• 将面部表征建模为信号去噪问题，其中种族作为与身份无关的噪声源。
• 通过在深层面部识别网络中分阶段应用交叉注意力模块，渐进式抑制种族偏差。
• 可视化并验证注意力图是否突出显示与种族相关的面部区域，从而确认偏差抑制的有效性。

提出的方法

• 该方法将面部表征形式化为广义函数表达模型，实现身份与种族信息的交叉预测。
• 引入双分支交叉注意力机制（交叉注意力模块，CT），以提炼身份相关成分并抑制种族引起的噪声。
• 渐进式交叉变换器（PCT）在神经网络中按阶段逐步应用 CT 模块，从浅层开始，逐步抑制偏差。
• 架构采用多头交叉注意力，H=2 为性能与参数效率之间的最佳平衡点。
• 模型通过端到端训练，联合优化身份分类与种族预测损失，以实现特征解耦。
• 可视化注意力图，分析模型如何识别并抑制与种族相关的面部区域。

实验结果

研究问题

• RQ1 能否通过可微、可学习的机制，有效将面部表征分解为与身份相关和由种族引起的噪声成分？
• RQ2 与单阶段或后期阶段应用相比，分阶段逐步应用交叉注意力模块是否能提升面部识别的公平性？
• RQ3 基于 Transformer 的架构是否能在保持或提升识别准确率的同时，有效抑制人口统计偏差？
• RQ4 注意力图在多大程度上揭示了与种族相关的面部区域，表明偏差抑制成功？
• RQ5 是否存在一个最优的注意力头数量，可在公平面部表征学习中平衡模型容量与泛化能力？

主要发现

• PCT 在 BFW 和 RFW 基准上实现了最先进的面部识别性能，同时显著降低了不同种族群体间的性能方差。
• 与 H=1 相比，使用 H=2 交叉注意力头时，各种族群体间验证准确率的标准差降低了一半。
• 在早期阶段（如第 1 阶段）添加 CT 模块，比在后期阶段（如第 4 阶段）添加能带来更大的偏差抑制效果，表明早期特征层面的偏差影响最大。
• 使用 H=4 交叉注意力头导致过拟合和性能下降，证实 H=2 在容量与泛化能力之间提供了最佳平衡。
• 注意力图可视化结果表明，PCT 学会聚焦于与种族相关的面部区域（如眼睛、鼻子、面部纹理），并在深层网络中逐步抑制这些区域。
• 与无 CT 模块的基线模型相比，CT 模块的渐进式应用使各人口群体准确率标准差降低了 30%-50%。