[论文解读] Distill and De-bias: Mitigating Bias in Face Verification using Knowledge Distillation

Prithviraj Dhar, Joshua Gleason+4 more|arXiv (Cornell University)|Dec 17, 2021

Face recognition and analysis被引用 4

一句话总结

本文提出了一种基于知识蒸馏的新型方法——Distill and De-bias (D&D) 与 D&D++，以减少人脸验证中的性别与肤色偏差。通过将教师网络在某一属性类别（如浅肤色）上学习到的注意力模式，蒸馏到在另一类别（如深肤色）上训练的学生网络中，D&D 实现了跨人口群体的一致空间注意力，显著降低了偏差，同时在 IJB-C 数据集上的验证准确率超越了对抗性基线方法。

ABSTRACT

Face recognition networks generally demonstrate bias with respect to sensitive attributes like gender, skintone etc. For gender and skintone, we observe that the regions of the face that a network attends to vary by the category of an attribute. This might contribute to bias. Building on this intuition, we propose a novel distillation-based approach called Distill and De-bias (D&D) to enforce a network to attend to similar face regions, irrespective of the attribute category. In D&D, we train a teacher network on images from one category of an attribute; e.g. light skintone. Then distilling information from the teacher, we train a student network on images of the remaining category; e.g., dark skintone. A feature-level distillation loss constrains the student network to generate teacher-like representations. This allows the student network to attend to similar face regions for all attribute categories and enables it to reduce bias. We also propose a second distillation step on top of D&D, called D&D++. Here, we distill the `un-biasedness' of the D&D network into a new student network, the D&D++ network, while training this new network on all attribute categories; e.g., both light and dark skintones. This helps us train a network that is less biased for an attribute, while obtaining higher face verification performance than D&D. We show that D&D++ outperforms existing baselines in reducing gender and skintone bias on the IJB-C dataset, while obtaining higher face verification performance than existing adversarial de-biasing methods. We evaluate the effectiveness of our proposed methods on two state-of-the-art face recognition networks: ArcFace and Crystalface.

研究动机与目标

• 解决与性别、肤色等敏感属性相关的人脸识别模型偏差问题。
• 探究不同人口群体间注意力区域的差异是否导致偏差。
• 开发一种非对抗性、基于知识蒸馏的方法，以在不同属性类别间强制实现一致的注意力模式。
• 在降低偏差的同时提升人脸验证性能，尤其与对抗性去偏技术相比。
• 确保该方法在不同人脸识别模型（如 ArcFace 与 Crystalface）上的泛化能力。

提出的方法

• 在某一敏感属性类别（如浅肤色）的图像上训练教师网络，以学习具有代表性的注意力模式。
• 通过特征级知识蒸馏，将教师网络的注意力模式传递给在另一类别（如深肤色）上训练的学生网络，从而约束学生网络关注相似的面部区域。
• 通过 D&D++ 方法，将 D&D 网络的“无偏”行为蒸馏到一个新训练的学生网络中，该网络覆盖所有属性类别，从而在保留公平性的同时提升性能。
• 使用 GradCAM 可视化并验证 D&D 与 D&D++ 之后，注意力图在不同人口群体间变得更加一致。
• 在 IJB-C 数据集上，使用 ArcFace 与 Crystalface 作为骨干网络进行训练与评估。
• 将 D&D 与 D&D++ 与对抗性去偏方法（如 PASS、IVE）以及平衡训练基线进行比较。

实验结果

研究问题

• RQ1 人脸识别模型的注意力在性别与肤色类别之间是否存在显著差异，从而导致偏差？
• RQ2 知识蒸馏是否可用于对齐不同人口群体间的注意力模式，以减少偏差？
• RQ3 两阶段蒸馏流程（先 D&D，再 D&D++）能否同时降低偏差并提升人脸验证准确率？
• RQ4 所提出的方法是否能在不同人脸识别模型与敏感属性之间实现泛化？
• RQ5 在公平性与验证性能方面，D&D++ 与对抗性去偏方法相比表现如何？

主要发现

• D&D 通过 GradCAM 可视化证明，能有效对齐不同人口群体间的注意力图，从而在 ArcFace 与 Crystalface 网络中显著降低性别与肤色偏差。
• D&D++ 在 IJB-C 数据集上的性能优于当前最先进的对抗性去偏方法，同时保持更低的偏差水平。
• 该方法无需对抗性训练或修改骨干网络架构，即可显著降低偏差。
• 特征级蒸馏能有效传递注意力模式，实现对不同肤色与性别类别人脸的一致处理。
• 该方法可泛化至不同人脸识别模型与敏感属性，包括性别与肤色。
• 在公平性与准确率的权衡上，D&D++ 优于平衡训练基线及其他非对抗性方法（如 GAC 与 IVE）。