[论文解读] Facial Feature Point Detection: A Comprehensive Survey

Nannan Wang, Xinbo Gao+2 more|arXiv (Cornell University)|Oct 4, 2014

Face recognition and analysis参考文献 13被引用 48

一句话总结

本篇全面综述回顾了面部关键点检测方法，将其分类为基于约束局部模型（CLM）、基于主动外观模型（AAM）、基于回归以及其它方法。综述指出，级联回归方法实现了最先进性能，但在处理遮挡、大姿态变化和非正面人脸方面仍存在挑战。

ABSTRACT

This paper presents a comprehensive survey of facial feature point detection with the assistance of abundant manually labeled images. Facial feature point detection favors many applications such as face recognition, animation, tracking, hallucination, expression analysis and 3D face modeling. Existing methods can be categorized into the following four groups: constrained local model (CLM)-based, active appearance model (AAM)-based, regression-based, and other methods. CLM-based methods consist of a shape model and a number of local experts, each of which is utilized to detect a facial feature point. AAM-based methods fit a shape model to an image by minimizing texture synthesis errors. Regression-based methods directly learn a mapping function from facial image appearance to facial feature points. Besides the above three major categories of methods, there are also minor categories of methods which we classify into other methods: graphical model-based methods, joint face alignment methods, independent facial feature point detectors, and deep learning-based methods. Though significant progress has been made, facial feature point detection is limited in its success by wild and real-world conditions: variations across poses, expressions, illuminations, and occlusions. A comparative illustration and analysis of representative methods provide us a holistic understanding and deep insight into facial feature point detection, which also motivates us to explore promising future directions.

研究动机与目标

• 系统性地回顾并对比分析多种类别下的面部关键点检测（FFPD）方法。
• 识别现有FFPD方法在真实环境条件下（如姿态变化、遮挡和表情变化）的主要局限性。
• 评估领先方法在LFPW、Helen和COFW等标准数据库上的性能表现。
• 突出人类水平性能与当前方法之间的差距，特别是在检测被遮挡或形变人脸方面。
• 识别有前景的未来研究方向，包括自适应特征学习和隐式形状建模。

提出的方法

• 将FFPD方法划分为四大主要类别：基于CLM、基于AAM、基于回归及其他方法。
• 分析基于CLM的方法，其利用局部专家和形状先验，通过响应图精炼关键点预测。
• 回顾基于AAM的方法，通过主成分分析（PCA）基的线性组合联合建模形状与纹理，以最小化合成误差。
• 检查基于回归的方法，其直接将图像外观映射到关键点坐标，而不显式建模形状或纹理。
• 将“其他方法”归类为基于图模型、联合人脸对齐、独立检测器以及深度学习方法。
• 使用标准数据库（LFPW、Helen、COFW）和平均误差每关键点及每图像平均误差等指标，评估方法性能。

实验结果

研究问题

• RQ1 在真实环境条件下，不同FFPD方法（CLM、AAM、回归和深度学习）在准确性和鲁棒性方面如何比较？
• RQ2 影响FFPD性能的主要挑战是什么，特别是姿态变化、遮挡和面部表情变化？
• RQ3 最先进方法在多大程度上实现了人类水平的准确性，其仍存在哪些不足？
• RQ4 特征设计与模型结构如何影响检测性能，特别是在处理形状和外观变化方面？
• RQ5 当前数据库和评估协议在反映真实部署场景方面存在哪些关键局限性？

主要发现

• 级联回归方法在所有类别中表现最佳，单张图像测试时间低至0.015秒（在2.93 GHz CPU上）。
• 最先进方法在LFPW和Helen数据库上达到人类水平准确性，但在包含更多遮挡和挑战性姿态的COFW数据库上表现显著下降。
• 面部轮廓区域的关键点最难检测，受姿态和遮挡影响最大；而眼角和鼻尖关键点对表情变化更具鲁棒性。
• 基于CLM的方法需要大量训练时间（例如，在2.5 GHz CPU上每张图像高达2.41秒），尽管推理速度相对较快。
• 基于深度学习的方法展现出强大潜力，但受限于长训练时间，且对未见姿态和表情变化的泛化能力不足。
• 依赖线性PCA形状假设的传统模型形状表示能力有限，表明需要更灵活、隐式的形状约束。