[论文解读] 3D Face Recognition: A Survey

Yaping Jing, Xuequan Lu+1 more|arXiv (Cornell University)|Aug 25, 2021

Face recognition and analysis参考文献 132被引用 7

一句话总结

本综述全面回顾了过去十年中3D人脸识别技术，将其分类为传统方法（局部、整体及混合）和基于深度学习的方法。该综述评估了这些方法在姿态、表情和遮挡等关键挑战下的性能、鲁棒性和复杂度，同时强调数据增强、预处理和损失函数是推动深度学习成功的关键因素，并呼吁建立大规模3D人脸数据库以推动该领域发展。

ABSTRACT

Face recognition is one of the most studied research topics in the community. In recent years, the research on face recognition has shifted to using 3D facial surfaces, as more discriminating features can be represented by the 3D geometric information. This survey focuses on reviewing the 3D face recognition techniques developed in the past ten years which are generally categorized into conventional methods and deep learning methods. The categorized techniques are evaluated using detailed descriptions of the representative works. The advantages and disadvantages of the techniques are summarized in terms of accuracy, complexity and robustness to face variation (expression, pose and occlusions, etc). The main contribution of this survey is that it comprehensively covers both conventional methods and deep learning methods on 3D face recognition. In addition, a review of available 3D face databases is provided, along with the discussion of future research challenges and directions.

研究动机与目标

• 提供过去十年中3D人脸识别技术的系统性与最新综述。
• 从准确性、复杂度以及对姿态、表情和遮挡等变化的鲁棒性方面，比较传统方法（局部、整体、混合）与基于深度学习的方法。
• 分析数据增强、预处理和损失函数在提升基于深度学习的3D人脸识别性能中的作用。
• 整理并评估现有的公开3D人脸数据库，识别数据可用性与可扩展性方面的缺口。
• 概述未来研究的关键挑战，包括对大规模3D人脸数据库的需求以及针对低质量或困难数据的改进方法。

提出的方法

• 根据特征提取技术，将3D人脸识别方法分类为传统方法（局部、整体、混合）和基于深度学习的方法。
• 使用详细描述和在标准数据集上的性能对比，回顾各类方法中的代表性工作。
• 分析数据增强策略，如3D可变形模型、子特征组合和姿态旋转，以增加训练数据的多样性。
• 评估数据预处理技术，包括ICP配准和3D到2D图像转换，以提升网络输入质量。
• 调查VGGNet、ResNet、MobileNetV2和PointNet++等深度神经网络架构及其在3D人脸识别中的适应应用。
• 研究损失函数（如多种损失函数）对深度学习流程中特征学习和模型泛化的影响。

实验结果

研究问题

• RQ1 传统3D人脸识别方法（局部、整体、混合）在准确性、计算成本以及对姿态、表情和遮挡的鲁棒性方面如何比较？
• RQ2 与传统技术相比，基于深度学习的3D人脸识别方法具有哪些关键优势和局限性？
• RQ3 数据增强、预处理和损失函数如何影响深度学习模型在3D人脸识别中的性能？
• RQ4 现有3D人脸数据库当前存在哪些不足，以及它们如何限制鲁棒识别系统的发展？
• RQ5 哪些未来研究方向对于推动3D人脸识别向实际部署应用发展最为关键？

主要发现

• 基于局部特征的方法在表情和遮挡方面表现出更好的鲁棒性，但其计算成本高于整体方法。
• 结合局部与全局特征的混合方法通过有效应对姿态变化、光照变化和面部表情，实现了更优性能。
• 基于深度学习的方法，特别是采用VGG、ResNet和轻量级CNN（如MobileNetV2）的方法，相比传统技术显著提升了识别准确性。
• 通过3D可变形模型和姿态变化生成进行有效的数据增强，有助于防止过拟合并提升深度学习流程中的模型泛化能力。
• 缺乏大规模3D人脸数据库仍是主要瓶颈，因为大多数深度学习方法依赖微调预训练网络，而非从零开始训练。
• 使用多种损失函数可增强特征学习，降低训练复杂度，从而提升模型性能和收敛速度。