[论文解读] Mitigate Bias in Face Recognition using Skewness-Aware Reinforcement Learning

Mei Wang, Weihong Deng|arXiv (Cornell University)|Nov 25, 2019

Face recognition and analysis参考文献 45被引用 36

一句话总结

本文提出 RL-RBN，一种强化学习框架，学习对非 Caucasian 种族的自适应边距以缓解人脸识别偏差，并发布用于公平性研究的种族意识数据集。

ABSTRACT

Racial equality is an important theme of international human rights law, but it has been largely obscured when the overall face recognition accuracy is pursued blindly. More facts indicate racial bias indeed degrades the fairness of recognition system and the error rates on non-Caucasians are usually much higher than Caucasians. To encourage fairness, we introduce the idea of adaptive margin to learn balanced performance for different races based on large margin losses. A reinforcement learning based race balance network (RL-RBN) is proposed. We formulate the process of finding the optimal margins for non-Caucasians as a Markov decision process and employ deep Q-learning to learn policies for an agent to select appropriate margin by approximating the Q-value function. Guided by the agent, the skewness of feature scatter between races can be reduced. Besides, we provide two ethnicity aware training datasets, called BUPT-Globalface and BUPT-Balancedface dataset, which can be utilized to study racial bias from both data and algorithm aspects. Extensive experiments on RFW database show that RL-RBN successfully mitigates racial bias and learns more balanced performance for different races.

研究动机与目标

• 通过解决即使在数据平衡且准确度高的情况下仍会出现的种族偏见，激发人脸识别的公平性。
• 提出一个自适应边距学习框架，在不同种族之间平衡特征的类内和类间分离度。
• 研究强化学习如何优化种族特定边距以降低种族之间的偏斜。
• 提供具有族裔意识的训练数据集，以研究 FR 系统中的数据和算法偏差。

提出的方法

• 将种族偏见建模为马尔可夫决策过程，并使用深度Q学习为每个种族学习自适应边距。
• 定义自适应边距损失，其中白人保持固定边距，非白人边距由策略驱动（α_j(t)）。
• 使用离线采样阶段收集状态-转移-奖励元组以训练DQN。
• 将状态 s 定义为种族组 G、当前边距 M 和类间偏斜度 B_inter 的组合；行动修改边距；奖励惩罚类内/类间偏斜度（B_intra + B_inter）。
• 在学习到的自适应边距策略指导下训练识别网络，以实现跨种族的平衡性能。
• 引入两个具族裔意识的数据集（BUPT-Globalface 和 BUPT-Balancedface），并在 RFW 基准上评估。

实验结果

研究问题

• RQ1 通过强化学习学习的自适应、种族特定边距能否减少跨种族人脸识别中的性能不平衡？
• RQ2 在 DQN 中引入基于偏斜度的奖励是否能使同种族内外的可分性更加平衡？
• RQ3 具族裔意识的训练数据集是否有助于诊断和缓解 FR 系统中的数据与算法偏差？
• RQ4 RL-RBN 相较于固定边距方法（Softmax、Cosface、ArcFace）在各种种族的公平性指标上有何差异？

主要发现

• RL-RBN 及其变体在公平性指标上显著优于基线边距（STD、SER 下降）。
• 在 RFW 上，RL-RBN(soft) 达到 STD 0.66 和 SER 1.17，相比类似设置下的 Norm-Softmax STD 2.64 和 SER 1.53。
• 在训练数据平衡时，RL-RBN(Cos/Arc) 相较固定边距同行在平均准确率更平衡且种族间偏斜更小。
• 在 BUPT-Globalface 上，RL-RBN(soft) 达到平均 94.45，STD 0.44，SER 1.20，优于 Softmax（STD 2.48，SER 1.78）及其他基线。
• 在 BUPT-Balancedface 上，RL-RBN(Cos/Arc) 达到平均约 95.0，STD/SER 明显低于固定边距方法。
• 自适应边距往往给更具挑战性的群体（亚洲人、非洲人）分配更大的边距、给更容易的群体分配更小的边距，这由学习到的策略引导。