[论文解读] FaceX-Zoo: A PyTorch Toolbox for Face Recognition

Jun Wang, Yinglu Liu+3 more|arXiv (Cornell University)|Jan 12, 2021

Face recognition and analysis参考文献 36被引用 14

一句话总结

FaceX-Zoo 是一个模块化、基于 PyTorch 的开源人脸识别框架，支持使用多种主干网络和监督头进行灵活训练，实现跨基准的标准化评估，并通过轻量级 SDK 实现端到端部署。该框架引入了一种基于 3D 的虚拟口罩生成方法（FMA-3D），用于生成逼真的戴口罩人脸数据，在 MegaFace-Mask 上实现了 78.39% 的 rank-1 准确率，较基线方法提升超过 50 个百分点。

ABSTRACT

Deep learning based face recognition has achieved significant progress in recent years. Yet, the practical model production and further research of deep face recognition are in great need of corresponding public support. For example, the production of face representation network desires a modular training scheme to consider the proper choice from various candidates of state-of-the-art backbone and training supervision subject to the real-world face recognition demand; for performance analysis and comparison, the standard and automatic evaluation with a bunch of models on multiple benchmarks will be a desired tool as well; besides, a public groundwork is welcomed for deploying the face recognition in the shape of holistic pipeline. Furthermore, there are some newly-emerged challenges, such as the masked face recognition caused by the recent world-wide COVID-19 pandemic, which draws increasing attention in practical applications. A feasible and elegant solution is to build an easy-to-use unified framework to meet the above demands. To this end, we introduce a novel open-source framework, named FaceX-Zoo, which is oriented to the research-development community of face recognition. Resorting to the highly modular and scalable design, FaceX-Zoo provides a training module with various supervisory heads and backbones towards state-of-the-art face recognition, as well as a standardized evaluation module which enables to evaluate the models in most of the popular benchmarks just by editing a simple configuration. Also, a simple yet fully functional face SDK is provided for the validation and primary application of the trained models. Rather than including as many as possible of the prior techniques, we enable FaceX-Zoo to easily upgrade and extend along with the development of face related domains. The source code and models are available at https://github.com/JDAI-CV/FaceX-Zoo.

研究动机与目标

• 解决在真实世界场景中训练、评估和部署深度人脸识别模型时缺乏统一、可扩展框架的问题。
• 通过极少的配置实现跨多个数据集的高效且标准化的基准测试。
• 通过合成数据生成支持新兴挑战，如戴口罩人脸识别。
• 为研究人员和开发者提供一个可扩展、模块化且可扩展的平台，便于在此基础上构建应用。

提出的方法

• 该框架采用模块化架构，包含独立的训练、评估和 SDK 模块，支持主干网络和监督头的即插即用集成。
• 支持标准训练以及针对浅层人脸数据的特殊策略，提升在数据有限情况下的泛化能力。
• 评估模块通过单个配置文件自动化跨多个基准的测试流程。
• 一种基于 3D 的虚拟口罩生成方法（FMA-3D）通过将纹理图映射到 UV 空间并将其与人脸几何结构混合，生成逼真的戴口罩人脸图像。
• 框架利用 PRNet 进行 3D 人脸重建，并通过 UV 空间混合技术，在多种姿态下合成高保真度的戴口罩人脸。
• 通过将 FMA-3D 应用于非戴口罩数据集，构建增强后的基准数据集（如 MegaFace-Mask），用于训练模型的评估。

实验结果

研究问题

• RQ1 如何通过统一的模块化框架简化人脸识别模型的训练、评估与部署流程？
• RQ2 使用合成戴口罩人脸数据进行训练，对戴口罩人脸识别模型的性能提升有多大？
• RQ3 基于 3D 的虚拟口罩生成方法是否能比 2D 或 GAN 基于的方法生成更鲁棒、更逼真的训练数据？
• RQ4 在真实世界条件下，引入戴口罩人脸数据对识别准确率有何影响？

主要发现

• 在非戴口罩的 MS-Celeb1M-v1c 数据集上训练的基线模型，在戴口罩的 MegaFace-Mask 基准测试中仅达到 27.03% 的 rank-1 准确率。
• 使用 FMA-3D 在合成戴口罩数据集（MS-Celeb1M-v1c-Mask）上进行训练，采用 MobileFaceNet 主干网络和 MV-Softmax 头，将 rank-1 准确率提升至 78.39%。
• 仅在训练中裁剪上半张人脸，准确率提升至 71.44%，表明聚焦于可见面部区域具有显著优势。
• 将仅训练上半张脸的模型与戴口罩数据训练的模型进行模型融合，实现了在 MegaFace-Mask 上最高的 rank-1 准确率 79.26%。
• FMA-3D 方法在保真度和鲁棒性方面优于 2D 和 GAN 基于方法，尤其在大角度头部姿态下表现更优。