[论文解读] Facial Landmark Detection with Tweaked Convolutional Neural Networks

Yue Wu, Tal Hassner+3 more|arXiv (Cornell University)|Nov 12, 2015

Face recognition and analysis参考文献 37被引用 25

一句话总结

本文提出了一种微调卷积神经网络（TCNN），通过利用预训练CNN的中间特征，在后续层中应用针对姿态的处理，从而提升面部关键点检测性能。通过基于这些对齐敏感的中间特征对最终层进行微调，TCNN在AFLW、AFW和300W基准上实现了最先进性能，且无需采用多部分或多尺度架构，展示了在更少标注数据下的更高准确率和更强鲁棒性。

ABSTRACT

We present a novel convolutional neural network (CNN) design for facial landmark coordinate regression. We examine the intermediate features of a standard CNN trained for landmark detection and show that features extracted from later, more specialized layers capture rough landmark locations. This provides a natural means of applying differential treatment midway through the network, tweaking processing based on facial alignment. The resulting Tweaked CNN model (TCNN) harnesses the robustness of CNNs for landmark detection, in an appearance-sensitive manner without training multi-part or multi-scale models. Our results on standard face landmark detection and face verification benchmarks show TCNN to surpasses previously published performances by wide margins.

研究动机与目标

• 在姿态变化、遮挡和表情变化等非约束条件下提升面部关键点检测性能。
• 分析为关键点回归训练的CNN中的中间特征，证明其编码了面部对齐信息。
• 设计一种新型CNN架构，基于姿态感知的中间特征实现差异化处理，且无需多部分或多尺度模型。
• 在减少对大规模辅助数据或复杂架构依赖的同时保持高准确率。
• 在Janus基准上展示该方法在下游任务（如人脸识别）中的优势。

提出的方法

• 该方法分析标准CNN在关键点回归任务中学习到的中间特征，证明其反映了面部对齐与姿态信息。
• 提出一种微调卷积神经网络（TCNN），在中间层将特征图分割，并根据姿态聚类结果将特征路由至K个独立的、经微调的全连接分支。
• 每个分支在对应特定头部姿态的子集训练数据上进行微调，从而实现对不同姿态的专用处理。
• 引入一种新颖的数据增强策略，通过基于姿态估计对图像应用几何变换来扩充训练数据，提升微调过程中的泛化能力。
• 网络架构在早期保持共享的卷积层以进行通用特征提取，仅在最后几层应用姿态特定的自适应调整，从而降低过拟合风险。
• 利用五个人脸关键点作为初始化，用于49点或68点检测器（如CLNF），显著提升了在300W基准上的性能。

实验结果

研究问题

• RQ1 在为面部关键点回归训练的CNN中，中间特征是否能编码有意义的姿态与对齐信息？
• RQ2 对网络后层进行姿态特定的微调，是否能在不增加模型复杂度的前提下提升关键点检测准确率？
• RQ3 利用中间特征实现特征的动态路由，是否能优于标准CNN或多部分模型？
• RQ4 是否能够通过轻量级单分支CNN结合姿态感知自适应，超越更复杂的多尺度或多部分模型？
• RQ5 改进的关键点检测是否能提升下游任务（如人脸识别）的性能？

主要发现

• TCNN在300W基准上达到最先进性能，49点检测的平均误差率（MER）为1.74，68点检测的MER为3.49，优于现有方法。
• 在AFLW基准上，TCNN实现49点检测MER为1.74，68点检测MER为3.49，表现出一致的性能提升。
• 在AFW基准上，TCNN实现49点检测MER为1.74，显示出在具有挑战性的非约束数据上的强大泛化能力。
• 通过利用TCNN输出的更优关键点对齐结果，该方法在Janus基准上显著提升了人脸识别准确率。
• 将TCNN输出的五个关键点作为CLNF的初始化，显著提升了在300W基准上49点与68点检测的准确率，优于使用标准初始化的方法。
• 网络首个全连接层（FC5）的中间特征可生成对齐良好的人脸聚类，表明其具有强大的姿态与对齐表征能力。