[论文解读] LUVLi Face Alignment: Estimating Landmarks' Location, Uncertainty, and Visibility Likelihood

Abhinav Kumar, Tim K. Marks+7 more|arXiv (Cornell University)|Apr 6, 2020

Face recognition and analysis参考文献 87被引用 13

一句话总结

本文提出 LUVLi，一种端到端深度学习框架，可联合估计面部关键点位置、其不确定性（以多元正态或拉普拉斯分布表示）以及可见性概率（未遮挡、自遮挡或外部遮挡）。通过使用一种新颖的 LUVLi 损失进行训练，该损失在参数化不确定性模型下最大化似然性，该方法在关键点定位精度方面达到最先进水平，并提供可靠的不确定性估计，无需显式监督即可区分遮挡与未遮挡的关键点。

ABSTRACT

Modern face alignment methods have become quite accurate at predicting the locations of facial landmarks, but they do not typically estimate the uncertainty of their predicted locations nor predict whether landmarks are visible. In this paper, we present a novel framework for jointly predicting landmark locations, associated uncertainties of these predicted locations, and landmark visibilities. We model these as mixed random variables and estimate them using a deep network trained with our proposed Location, Uncertainty, and Visibility Likelihood (LUVLi) loss. In addition, we release an entirely new labeling of a large face alignment dataset with over 19,000 face images in a full range of head poses. Each face is manually labeled with the ground-truth locations of 68 landmarks, with the additional information of whether each landmark is unoccluded, self-occluded (due to extreme head poses), or externally occluded. Not only does our joint estimation yield accurate estimates of the uncertainty of predicted landmark locations, but it also yields state-of-the-art estimates for the landmark locations themselves on multiple standard face alignment datasets. Our method's estimates of the uncertainty of predicted landmark locations could be used to automatically identify input images on which face alignment fails, which can be critical for downstream tasks.

研究动机与目标

• 解决当前最先进的人脸对齐方法中缺乏不确定性与可见性估计的问题。
• 开发一个统一框架，联合预测关键点位置、其不确定性以及可见性状态。
• 通过使系统能够检测不可靠的关键点预测，提升在安全关键应用中的鲁棒性。
• 发布一个全新的大规模人脸对齐数据集，包含对 68 个关键点的详细可见性标注。
• 证明不确定性估计可端到端学习，无需对遮挡进行显式监督。

提出的方法

• 模型采用基于 U-Net 的主干网络，并结合多个沙漏模块，用于预测关键点位置的热力图。
• 关键点位置通过 ReLU 激活后的热力图的空间均值得到，而非使用 argmax，以实现可微分回归。
• Cholesky 估计网络（CEN）分支回归多元不确定性分布的协方差矩阵的 Cholesky 分解。
• 可见性估计网络（VEN）为每个关键点预测可见性概率，作为二分类或多分类概率。
• LUVLi 损失函数联合优化关键点定位精度、不确定性似然性以及可见性预测，使用参数化模型。
• 该框架通过可微损失端到端训练，以最大化在预测不确定性分布下真实标注位置的似然性。

实验结果

研究问题

• RQ1 联合估计关键点位置、不确定性与可见性是否能提升人脸对齐的鲁棒性？
• RQ2 将不确定性建模为参数化分布（正态或拉普拉斯）是否比直接回归能获得更优的不确定性量化效果？
• RQ3 在未进行显式遮挡监督的情况下，不确定性估计是否能自动区分未遮挡与外部遮挡的关键点？
• RQ4 与 argmax 相比，使用 ReLU 激活热图的空间均值进行关键点定位，在准确率与可微性方面表现如何？
• RQ5 可见性预测在挑战性姿态下能在多大程度上提升关键点定位的可靠性？

主要发现

• LUVLi 模型在多个基准测试中达到最先进性能，300W（Split 2）上 NME 为 2.10%，Menpo 上为 2.04%。
• 即使未进行显式遮挡监督，模型的不确定性估计对被外部遮挡的关键点（均值 |Σ|₀.⁵ = 34.41）显著高于未遮挡关键点（9.28）。
• 在 LUVLi 损失中使用拉普拉斯似然优于正态似然，Menpo 上 AUC 达 71.9%（正态为 70.2%）。
• 将 argmax 替换为 ReLU 激活热图的空间均值，相比直接回归，NME 提升 2.2%。
• 在 300W-LP-2D 上使用预训练权重进行微调，效果优于从零开始训练。
• 将 U-Net 数量从 8 个减少到 4 个，推理速度提升约 2 倍，性能下降可忽略。