[论文解读] A Survey of Face Recognition

Xinyi Wang, Jianteng Peng+4 more|arXiv (Cornell University)|Dec 26, 2022

Face recognition and analysis被引用 4

一句话总结

本综述全面概述了人脸识别（FR）技术，涵盖其从传统方法（如Eigenface和LBP）到现代深度学习方法的演进。综述详细介绍了FR流程、损失函数、主干网络架构，并通过受控实验评估了模型大小和数据分布的影响，为工业部署和现实场景中的基准测试提供了实用见解。

ABSTRACT

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

研究动机与目标

• 系统性回顾从经典方法到最先进深度学习方法的人脸识别（FR）技术。
• 分析并比较超过100种FR算法在特征提取、损失函数和识别流程方面的表现。
• 通过受控实验研究主干网络架构大小和训练数据分布对FR性能的影响。
• 作为FG2023研讨会《工业世界中实用的人脸识别技术》的基础资源。
• 整理并评估主要的训练与测试数据集、基准测试以及人脸识别在现实世界中的应用。

提出的方法

• 调研并分类超过100个人脸识别算法，包括传统手工设计特征（如Eigenface、LBP、基于SVM的方法）和基于深度学习的方法。
• 详细阐述FR的标准深度学习流程，包括人脸检测、对齐、嵌入提取和匹配，重点强调训练与推理阶段。
• 分析关键组件，如损失函数（如三元组损失、Softmax损失）、嵌入技术及大规模ID识别的优化策略。
• 设计并开展受控实验，评估主干网络深度（如ResNet变体）和数据分布（如类别不平衡、数据质量）对识别准确率的影响。
• 在标准数据集（如MS-Celeb-1M、MegaFace和FRVT）上对模型进行基准测试，重点关注1:1验证、1:N识别以及形态攻击检测。
• 评估人脸质量评估指标，包括标量和向量形式的质量评分，以理解其对识别性能的影响。

实验结果

研究问题

• RQ1 在不同主干网络大小和数据分布条件下，不同基于深度学习的人脸识别架构表现如何？
• RQ2 在现实场景中，传统特征方法（如LBP、Fisherface）与现代深度学习方法相比，相对有效性如何？
• RQ3 训练数据质量与类别分布如何影响人脸识别模型的泛化能力和鲁棒性？
• RQ4 在FRVT、MegaFace和MS-Celeb-1M等标准化基准测试中，FR系统的关键性能差异是什么？
• RQ5 人脸质量评估指标在低质量或噪声图像条件下如何影响识别性能？

主要发现

• 基于深度学习的人脸识别模型在准确率和鲁棒性方面显著优于经典方法（如Eigenface和LBP），尤其在非受限条件下表现更优。
• 更大的主干网络架构（如更深的ResNets）能持续提升识别性能，但在达到一定深度后收益递减，尤其在大规模数据集上更为明显。
• 数据分布对模型泛化能力有显著影响：在类别平衡、高质量数据上训练的模型在未见数据和分布偏移情况下表现更优。
• 人脸质量评估指标——尤其是评估光照、姿态和清晰度等属性的质量向量——有助于识别会降低识别性能的低质量图像。
• FRVT基准测试，特别是FRVT 1:N和FRVT MORPH，表明最先进模型在标准条件下FNMR < 0.01，但在遭遇变形人脸攻击时性能显著下降。
• MS-Celeb-1M挑战表明，即使在大规模、噪声数据集上训练的模型，仍能实现高识别召回率，凸显了现代深度度量学习的鲁棒性。