[论文解读] A Detailed Look At CNN-based Approaches In Facial Landmark Detection

Chih-Fan Hsu, Chia-Ching Lin+3 more|arXiv (Cornell University)|May 8, 2020

Face recognition and analysis参考文献 35被引用 8

一句话总结

本文提出了一种新颖的像素级分类（PWC）模型用于面部关键点检测，采用混合损失函数和判别网络以增强关键点之间的相互关系，显著提升了六个基准数据集上的准确率，且未改变模型架构。该方法优于现有的回归与热图基方法，尤其在遮挡和复杂条件下表现更优。

ABSTRACT

Facial landmark detection has been studied over decades. Numerous neural network (NN)-based approaches have been proposed for detecting landmarks, especially the convolutional neural network (CNN)-based approaches. In general, CNN-based approaches can be divided into regression and heatmap approaches. However, no research systematically studies the characteristics of different approaches. In this paper, we investigate both CNN-based approaches, generalize their advantages and disadvantages, and introduce a variation of the heatmap approach, a pixel-wise classification (PWC) model. To the best of our knowledge, using the PWC model to detect facial landmarks have not been comprehensively studied. We further design a hybrid loss function and a discrimination network for strengthening the landmarks' interrelationship implied in the PWC model to improve the detection accuracy without modifying the original model architecture. Six common facial landmark datasets, AFW, Helen, LFPW, 300-W, IBUG, and COFW are adopted to train or evaluate our model. A comprehensive evaluation is conducted and the result shows that the proposed model outperforms other models in all tested datasets.

研究动机与目标

• 系统分析并比较基于CNN的回归方法与热图方法在面部关键点检测中的表现。
• 探究尚未被充分研究的像素级分类（PWC）模型在面部关键点检测中的应用及其潜在优势。
• 通过引入结合回归与热图监督的混合损失函数，提升基于PWC的关键点检测准确率。
• 利用判别网络增强关键点的一致性与形状保真度，促使模型学习到类人脸的关键点配置。
• 在六种标准面部关键点数据集上，全面评估所提方法在多种条件下的表现，包括遮挡情况。

提出的方法

• PWC模型将每个关键点视为独立的像素级分类任务，使用CNN主干网络为每个关键点预测热图。
• 混合损失函数结合L2损失用于坐标回归与交叉熵损失用于热图监督，以提升定位准确率。
• 判别网络被训练以区分真实关键点配置与生成的关键点配置，促使模型学习到合理的面部形状。
• 判别网络与检测网络端到端联合训练，且不增加推理时间。
• 模型在六个数据集上进行训练与评估：AFW、Helen、LFPW、300-W、IBUG与COFW，包含遮挡子集。
• 模型架构保持不变；性能提升完全源于损失函数与判别网络的设计。

实验结果

研究问题

• RQ1 基于CNN的回归方法与热图方法在面部关键点检测中的准确率、鲁棒性与形状一致性方面有何差异？
• RQ2 像素级分类（PWC）模型能否有效应用于面部关键点检测？其独特优势与局限性是什么？
• RQ3 通过结合回归与热图监督，混合损失函数在多大程度上可提升基于PWC的关键点检测性能？
• RQ4 通过强制关键点间相互关系，判别网络在多大程度上提升了检测准确率与形状保真度？
• RQ5 在遮挡与极端表情等复杂条件下，所提模型的表现如何？

主要发现

• 所提出的PWC模型结合混合损失与判别网络，在所有六个基准数据集（AFW、Helen、LFPW、300-W、IBUG与COFW）上均优于所有基线模型。
• 在COFW数据集上，混合+判别模型在80%的测试图像中表现优于其他模型，尤其在严重遮挡情况下优势显著。
• 对于68个面部关键点，混合+判别模型在所有测试模型中实现了最低的NMSE，且在遮挡情况下提升明显。
• 判别网络在不降低检测准确率的前提下提升了关键点形状的一致性，且对推理时间无影响。
• 混合损失函数有效减少了因形状模糊性或部分遮挡导致的关键点偏移，定量与定性结果均验证了这一点。
• 即使关键点部分被遮挡，模型仍保持高准确率，在70%的遮挡情况下优于回归模型与标准热图模型。