[论文解读] Grand Challenge of 106-Point Facial Landmark Localization

Yinglu Liu, Hao Shen+19 more|arXiv (Cornell University)|May 9, 2019

Face recognition and analysis参考文献 16被引用 5

一句话总结

本文提出了JD-landmark数据集，这是一个大规模、多样化的面部关键点数据集，包含106个点的标注，并在ICME 2019举办了一场大型挑战赛，以推动高精度面部关键点定位技术的发展。挑战赛在姿态、表情和遮挡等复杂变化条件下评估方法性能，百度公司采用基于autoML优化的多堆叠人脸对齐方法并结合投票机制，取得了最佳结果（AUC: 84.01%），在鲁棒性和准确性方面均优于当前最先进方法。

ABSTRACT

Facial landmark localization is a very crucial step in numerous face related applications, such as face recognition, facial pose estimation, face image synthesis, etc. However, previous competitions on facial landmark localization (i.e., the 300-W, 300-VW and Menpo challenges) aim to predict 68-point landmarks, which are incompetent to depict the structure of facial components. In order to overcome this problem, we construct a challenging dataset, named JD-landmark. Each image is manually annotated with 106-point landmarks. This dataset covers large variations on pose and expression, which brings a lot of difficulties to predict accurate landmarks. We hold a 106-point facial landmark localization competition1 on this dataset in conjunction with IEEE International Conference on Multimedia and Expo (ICME) 2019. The purpose of this competition is to discover effective and robust facial landmark localization approaches.

研究动机与目标

• 为解决以往68点面部关键点基准在面部组件结构细节方面不足的问题，提出一种更详细的106点标注标准。
• 构建一个大规模、多样化的面部关键点数据集（JD-landmark），其在姿态、表情和遮挡方面具有显著差异，以挑战现有方法。
• 通过在ICME 2019举办大型挑战赛，推动鲁棒且精确的面部关键点定位技术的发展。
• 在真实世界条件下（包括非受限环境），对标准化基准上最先进的深度学习模型进行评估与比较。

提出的方法

• JD-landmark数据集包含约16,000张图像，其中11,393张用于训练，2,000张用于验证，2,000张用于测试，所有图像均经人工标注了106个精确的面部关键点。
• 评估指标采用归一化均方误差（NME），并以边界框面积的平方根进行归一化，失败定义为NME > 8%。
• 排名第一的方法来自百度公司，采用多堆叠hourglass架构，其基础模型经autoML优化，并通过投票策略融合，以剔除异常值并提升鲁棒性。
• 第二名的方法来自中国科学技术大学（USTC），采用Densely U-Nets Refine Network（DURN），结合多尺度中间监督与积分回归，直接预测坐标，避免热力图argmax的量化误差。
• 第三名的方法来自美团，提出一种分层模块，采用双软argmax将热力图映射到连续坐标，减少量化误差，并训练多个输入与输出分辨率不同的模型。
• 所有顶尖方法均结合了先进的数据增强、多任务学习（如语义分割）以及模型集成技术，以提升在复杂姿态与遮挡情况下的泛化能力。

实验结果

研究问题

• RQ1 106点面部关键点标注方案是否能为复杂面部组件（如眉毛和鼻翼）提供显著多于标准68点方案的结构信息？
• RQ2 当使用高分辨率106点基准时，当前最先进深度学习模型在姿态、表情和遮挡等极端变化下的表现如何？
• RQ3 autoML、多尺度监督与软argmax操作在非受限环境下能在多大程度上提升定位精度与鲁棒性？
• RQ4 在真实世界条件下，端到端可训练框架与集成方法在密集面部关键点定位任务中的性能差距有多大？

主要发现

• 百度公司排名第一的方法在CED曲线上取得了最高的AUC（84.01%），显著优于第二名和第三名方法，分别高出1.33%和1.79%。
• 百度方法的平均NME最低，仅为1.31%，相比第二名（USTC）的1.41%和第三名（Meituan）的1.42%，表现出更优的精度。
• 百度方法的失败率最低，仅为0.10%，表明其在处理困难样本时具有极强的鲁棒性。
• 中国科学技术大学（USTC）的第二名方法失败率为0.05%，为所有团队中最低，表明其在挑战性样本上具有极高的可靠性。
• 美团的第三名方法失败率为0.00%，表明在测试集中无任何预测失败，尽管平均NME略高。
• 所有前三名方法在测试集上均表现出强大的泛化能力，CED曲线显示超过80%的测试图像NME低于8%，证实了该数据集的挑战性与有效性。