[论文解读] Human and Sheep Facial Landmarks Localisation by Triplet Interpolated Features

Heng Yang, Renqiao Zhang+1 more|arXiv (Cornell University)|Sep 16, 2015

Face recognition and analysis参考文献 38被引用 4

一句话总结

本文提出了一种三元组插值特征（TIF）方法，用于在大头部姿态变化和稀疏关键点标注条件下，实现对人类和绵羊的鲁棒面部关键点定位。通过利用三个锚点关键点增强特征提取，并引入负相关数据增强方案，该方法在300W（人类）和一个新的仅含600张图像的绵羊面部数据集上均实现了最先进性能，显著提升了在具有挑战性的姿态下的成功定位率。

ABSTRACT

In this paper we present a method for localisation of facial landmarks on human and sheep. We introduce a new feature extraction scheme called triplet-interpolated feature used at each iteration of the cascaded shape regression framework. It is able to extract features from similar semantic location given an estimated shape, even when head pose variations are large and the facial landmarks are very sparsely distributed. Furthermore, we study the impact of training data imbalance on model performance and propose a training sample augmentation scheme that produces more initialisations for training samples from the minority. More specifically, the augmentation number for a training sample is made to be negatively correlated to the value of the fitted probability density function at the sample's position. We evaluate the proposed scheme on both human and sheep facial landmarks localisation. On the benchmark 300w human face dataset, we demonstrate the benefits of our proposed methods and show very competitive performance when comparing to other methods. On a newly created sheep face dataset, we get very good performance despite the fact that we only have a limited number of training samples and a set of sparse landmarks are annotated.

研究动机与目标

• 解决在稀疏关键点和大头部姿态变化的真实场景中面部关键点定位的挑战。
• 提升级联形状回归在人类和绵羊面部中的鲁棒性。
• 克服在数据量有限设置下因训练数据分布不平衡导致的性能下降问题。
• 在新构建的小规模绵羊面部数据集上实现准确的关键点检测，以支持动物福利应用。
• 开发一种在关键点稀疏分布时仍保持有效性的特征提取方法。

提出的方法

• 提出一种三元组插值特征（TIF）方案，利用三个关键点锚点计算形状索引特征，提升对姿态变化和形状形变的鲁棒性。
• 在级联形状回归框架中应用TIF，通过迭代方式逐步优化关键点预测。
• 设计一种负相关增强（NCA）策略，根据样本在训练分布中的密度，为少数类样本分配更多随机初始化。
• 使用概率密度函数确定增强频率，密度较低的样本获得更多的增强次数。
• 在密集（68点）和稀疏（14点）关键点设置下训练并评估模型，以模拟真实世界中的约束条件。
• 使用dlib人脸检测器并辅以人工验证生成边界框，确保评估条件的真实性和合理性。

实验结果

研究问题

• RQ1 三元组插值特征是否能在大头部姿态变化和稀疏关键点标注条件下提升关键点定位精度？
• RQ2 小规模训练数据集中数据不平衡如何影响关键点定位性能？是否能被有效缓解？
• RQ3 所提出的负相关增强方案是否能提升在罕见或难以定位的面部姿态上的泛化能力？
• RQ4 TIF方法是否能在仅含极少关键点标注的情况下，在人类和绵羊面部数据集中均实现具有竞争力的性能？
• RQ5 在具有挑战性的现实条件下，TIF方法相较于现有最先进方法的性能优势有多大？

主要发现

• 在300W基准测试中，所提出的TIF + NCA方法在所有对比方法中表现最佳，尤其在稀疏关键点设置下优势显著。
• TIF方法显著提升了基线RCPR和ESR模型在稀疏关键点定位中的性能，证明其在低关键点场景下的有效性。
• NCA增强方案在高姿态变化情况下，将成功定位率提高了超过30个样本（共689张测试图像），表明其具有显著的鲁棒性增益。
• 在仅含600张图像的新绵羊面部数据集中，尽管数据量有限且关键点稀疏，该方法仍取得了优异性能。
• 在均方误差和成功定位率方面，该方法优于现有最先进方法，尤其在具有挑战性的姿态下表现更优。
• TIF与NCA的结合显著降低了极端头部姿态下的失败率，相较于标准数据增强和基线特征方案展现出明显优势。