[论文解读] Interspecies Knowledge Transfer for Facial Keypoint Detection

Maheen Rashid, Xiuye Gu+1 more|arXiv (Cornell University)|Apr 13, 2017

Face recognition and analysis参考文献 45被引用 4

一句话总结

该论文提出了一种新颖的方法，通过形状感知形变将人类面部关键点检测的知识迁移至动物面部关键点检测。首先，利用基于最近邻人类面部的薄板样条网络将动物面部形变为类似人类面部，然后在形变后的动物数据上微调预训练的人类关键点检测器，实现了最先进性能，尤其在训练数据有限的情况下表现优异。

ABSTRACT

We present a method for localizing facial keypoints on animals by transferring knowledge gained from human faces. Instead of directly finetuning a network trained to detect keypoints on human faces to animal faces (which is sub-optimal since human and animal faces can look quite different), we propose to first adapt the animal images to the pre-trained human detection network by correcting for the differences in animal and human face shape. We first find the nearest human neighbors for each animal image using an unsupervised shape matching method. We use these matches to train a thin plate spline warping network to warp each animal face to look more human-like. The warping network is then jointly finetuned with a pre-trained human facial keypoint detection network using an animal dataset. We demonstrate state-of-the-art results on both horse and sheep facial keypoint detection, and significant improvement over simple finetuning, especially when training data is scarce. Additionally, we present a new dataset with 3717 images with horse face and facial keypoint annotations.

研究动机与目标

• 为解决马和绵羊等物种缺乏大规模标注数据集的问题，特别是针对动物面部关键点检测任务。
• 通过迁移人类面部关键点检测的知识（得益于丰富的标注数据）来提升动物关键点检测的准确性。
• 克服因结构和外观差异导致的直接从人类到动物面部微调性能不佳的问题。
• 开发一种在微调前显式校正种间形状差异的方法，从而在数据有限的情况下实现更好的适应性。
• 发布一个新的大规模马面部关键点数据集，以支持未来动物面部分析研究。

提出的方法

• 该方法采用无监督形状匹配方法，基于关键点配置为每张动物图像寻找最近的邻近人类面部。
• 训练一个薄板样条（TPS）形变网络，将每张动物面部形变为与其最近邻人类面部形状一致，以最小化形状差异。
• 使用形变后的动物图像微调预训练的深度神经网络进行人类面部关键点检测，使网络专注于外观差异而非形状差异。
• 在微调过程中联合优化形变网络与关键点检测网络，以提升对齐精度与检测性能。
• 在马和绵羊数据集上评估系统，并对形变精度和邻居数量进行消融实验。
• 引入一个包含3,717张马图像及面部关键点标注的新数据集，以支持基准测试和未来研究。

实验结果

研究问题

• RQ1 尽管存在显著的形状和外观差异，能否有效将人类面部关键点检测的知识迁移至动物？
• RQ2 在微调前将动物面部形变为类似人类面部，是否能提升关键点检测性能，相比直接微调？
• RQ3 随着训练数据量减少，所提方法的性能如何变化？
• RQ4 形变精度和最近邻数量对检测性能有何影响？
• RQ5 基于形状感知的形变策略能否减少对大规模标注动物数据集的依赖？

主要发现

• 所提方法在马和绵羊面部关键点检测任务上均达到最先进性能，优于简单微调和基于TPS的基线方法。
• 在马数据集上，当仅使用500张训练图像时，该方法的失败率比TPS基线低6.72个百分点，比简单微调低13.39个百分点。
• 随着训练数据量减少，该方法与基线方法之间的性能差距进一步扩大，表明其具有更优的数据效率。
• 以真实形变图像（GT Warp）作为基线，失败率为7.76%，而所提方法达到8.36%，表明形变网络有效但尚不完美。
• 随着最近邻数量K增加，错误率持续下降至某一点后开始上升，当K > 10时性能因邻居选择噪声而下降，表明存在最优邻居数量。
• 该方法在小样本数据集上表现稳健且实用，适用于现实中难以收集大规模标注动物数据集的应用场景。