[论文解读] An Empirical Study of Recent Face Alignment Methods

Heng Yang, Xuhui Jia+2 more|arXiv (Cornell University)|Nov 16, 2015

Face recognition and analysis参考文献 43被引用 31

一句话总结

本文通过使用扩展的300W++数据集（包含实际人脸检测结果）和一种新型评估指标AUCα，对近期的人脸对齐方法进行了严格的实证评估。AUCα相较于平均误差对异常值不敏感，能更准确反映模型性能。研究发现，模型性能显著受人脸检测质量影响；在一致训练设置下重新训练模型后，揭示了初始化策略和级联深度等关键因素对模型鲁棒性和准确率的决定性影响。

ABSTRACT

The problem of face alignment has been intensively studied in the past years. A large number of novel methods have been proposed and reported very good performance on benchmark dataset such as 300W. However, the differences in the experimental setting and evaluation metric, missing details in the description of the methods make it hard to reproduce the results reported and evaluate the relative merits. For instance, most recent face alignment methods are built on top of face detection but from different face detectors. In this paper, we carry out a rigorous evaluation of these methods by making the following contributions: 1) we proposes a new evaluation metric for face alignment on a set of images, i.e., area under error distribution curve within a threshold, AUC$_α$, given the fact that the traditional evaluation measure (mean error) is very sensitive to big alignment error. 2) we extend the 300W database with more practical face detections to make fair comparison possible. 3) we carry out face alignment sensitivity analysis w.r.t. face detection, on both synthetic and real data, using both off-the-shelf and re-retrained models. 4) we study factors that are particularly important to achieve good performance and provide suggestions for practical applications. Most of the conclusions drawn from our comparative analysis cannot be inferred from the original publications.

研究动机与目标

• 为解决先前工作中因实验设置、评估指标和实现细节缺失导致的人脸对齐评估不一致问题。
• 通过在300W数据集中加入多样化、实际的人脸检测结果，构建更贴近现实的基准，形成300W++数据集。
• 提出一种新型评估指标AUCα，通过测量误差分布曲线下在阈值α内的面积，更准确地反映模型性能。
• 对人脸对齐方法在人脸检测差异（包括合成与真实情况）下的敏感性进行系统分析。
• 提供关于关键设计因素（如初始化策略和级联深度）的实用洞见，这些因素显著影响模型的鲁棒性和准确率。

提出的方法

• 通过添加多种类型的人脸检测结果（如Viola-Jones、IBUG、dlib以及一个深度卷积神经网络回归模型）扩展300W数据集，以模拟真实世界中的人脸检测差异。
• 提出AUCα作为新型评估指标，定义为误差分布曲线下在阈值α内的面积，相较于平均误差，对大误差的敏感性更低。
• 在11种代表性人脸对齐方法上开展广泛实验，包括现成模型和在相同训练协议下重新训练的版本。
• 通过向人脸检测中注入人工噪声（如中心偏移和尺度变化）进行合成敏感性分析，以评估模型的鲁棒性。
• 使用相同的数据、数据增强和训练设置，对表现最佳的模型（如CFSS、TREES、SDM、ESR）进行重新训练，以实现公平比较。
• 通过改变初始化方案（如均值形状 vs. 随机初始化）和级联深度，系统研究级联方法（如ESR）中的关键因素，并通过重复实验确保统计可靠性。

实验结果

研究问题

• RQ1 人脸检测的选择如何影响最先进人脸对齐方法的性能？
• RQ2 传统平均误差指标在评估人脸对齐性能时在多大程度上具有误导性？AUCα能否提供更可靠的单值衡量？
• RQ3 在一致训练设置下重新训练模型后，其相对性能排名与现成模型相比有何变化？
• RQ4 初始化策略（如均值形状 vs. 随机初始化）对最终对齐准确率和鲁棒性有何影响？
• RQ5 级联层数量如何影响性能、模型大小和推理时间？

主要发现

• AUCα指标在评估人脸对齐性能时比平均误差更具鲁棒性，能有效降低异常误差的影响，更真实反映实际性能。
• 人脸检测的差异（尤其是中心偏移）对对齐性能有显著负面影响，部分模型如SDM和TREES表现出高度敏感性。
• 在相同训练设置下重新训练模型后发现，训练协议具有显著影响：例如TREES的AUC0.2从现成版本的0.149下降至重新训练后的0.123，表明训练差异导致了性能偏差。
• CFSS在准确率（AUC0.2）和对检测抖动的鲁棒性方面均优于其他模型，但其计算复杂度更高。
• 在推理过程中使用均值形状（MS）作为初始化之一始终具有优势，其性能与使用四个随机初始化相当，但速度提升四倍。
• 增加级联层数可带来持续的性能提升，对于ESR和TREES而言，10层级联在准确率与推理时间之间提供了良好的平衡。