[论文解读] MagFace: A Universal Representation for Face Recognition and Quality Assessment

Qiang Meng, Shichao Zhao+2 more|arXiv (Cornell University)|Mar 11, 2021

Face recognition and analysis参考文献 45被引用 37

一句话总结

MagFace 学习一种通用的人脸嵌入，其中特征的幅度作为质量指示，指导自适应边距以在没有额外质量标签的情况下提升识别、质量评估和聚类。

ABSTRACT

The performance of face recognition system degrades when the variability of the acquired faces increases. Prior work alleviates this issue by either monitoring the face quality in pre-processing or predicting the data uncertainty along with the face feature. This paper proposes MagFace, a category of losses that learn a universal feature embedding whose magnitude can measure the quality of the given face. Under the new loss, it can be proven that the magnitude of the feature embedding monotonically increases if the subject is more likely to be recognized. In addition, MagFace introduces an adaptive mechanism to learn a wellstructured within-class feature distributions by pulling easy samples to class centers while pushing hard samples away. This prevents models from overfitting on noisy low-quality samples and improves face recognition in the wild. Extensive experiments conducted on face recognition, quality assessments as well as clustering demonstrate its superiority over state-of-the-arts. The code is available at https://github.com/IrvingMeng/MagFace.

研究动机与目标

• 推动端到端人脸识别系统在不使用单独质量标签的情况下考虑输入人脸质量。
• 在人脸嵌入空间中引入幅度作为质量指示。
• 开发具有幅度感知角边距和正则化项的 MagFace 损失，以对类内分布进行构建。
• 在标准基准测试上展示在人脸识别、质量评估和聚类方面的改进。

提出的方法

• 定义幅度 a_i = ||f_i|| 以及两个辅助函数：幅度感知边距 m(a_i) 和正则项 g(a_i)。
• 通过用 m(a_i) 替换固定边距并添加正则项项 lambda_g g(a_i) 来扩展 ArcFace。
• 证明两个性质：收敛性（L_i 是严格凸的，具有唯一最优 a_i^*）和单调性（当与中心的余弦距离减小时时 a_i^* 增大）。
• 论证更大的幅度对应更高的人脸质量和更高的识别可能性，而低质量样本在受限的可行域内被拉向原点。

实验结果

研究问题

• RQ1 在识别模型中，特征幅度能否作为一个可靠的、无标签的人脸质量指示？
• RQ2 在无约束条件下，幅度感知损失是否能改进类内结构和类间分离？
• RQ3 除了识别外，MagFace 是否还能提升下游任务如质量评估和聚类？
• RQ4 幅度感知边距如何适应样本难度并防止对噪声的过拟合？

主要发现

• 与 ArcFace 及其他基线相比，MagFace 在多个基准数据集（LFW、CFP-FP、AgeDB-30、CALFW、CPLFW、IJB-B、IJB-C）上取得最高的验证精度。
• 学习到的特征幅度与识别难度及类别中心的接近度相关，能够在无需额外标签的情况下实现质量感知加权。
• MagFace 在 K-means、AHC、DBSCAN 和 L-GCN 上实现了更好的聚类表现，在 F-score 和 NMI 指标上优于 ArcFace 基线。
• 定性分析显示均值人脸在幅度较高时变得更细致，说明 MagFace 的质量表示。
• MagFace+（幅度加权聚合）在 IJB-B/C 基准上进一步提升身份嵌入。
• 基于幅度的质量评估在多个数据集上优于若干图像和人脸基线。