[论文解读] Look at Boundary: A Boundary-Aware Face Alignment Algorithm

Wayne Wu, Chen Qian+4 more|arXiv (Cornell University)|May 26, 2018

Face recognition and analysis参考文献 57被引用 28

一句话总结

本文提出了一种边界感知的人脸对齐算法，利用面部边界线作为几何结构以提升关键点定位的准确性。通过在深度网络的多个阶段估计边界热图并进行融合，该方法在300-W Fullset上将平均误差降低至3.49%，在AFLW-Full上降低至1.25%，同时引入了一个新的基准数据集WFLW，以实现对多样化条件下的统一评估。

ABSTRACT

We present a novel boundary-aware face alignment algorithm by utilising boundary lines as the geometric structure of a human face to help facial landmark localisation. Unlike the conventional heatmap based method and regression based method, our approach derives face landmarks from boundary lines which remove the ambiguities in the landmark definition. Three questions are explored and answered by this work: 1. Why using boundary? 2. How to use boundary? 3. What is the relationship between boundary estimation and landmarks localisation? Our boundary- aware face alignment algorithm achieves 3.49% mean error on 300-W Fullset, which outperforms state-of-the-art methods by a large margin. Our method can also easily integrate information from other datasets. By utilising boundary information of 300-W dataset, our method achieves 3.92% mean error with 0.39% failure rate on COFW dataset, and 1.25% mean error on AFLW-Full dataset. Moreover, we propose a new dataset WFLW to unify training and testing across different factors, including poses, expressions, illuminations, makeups, occlusions, and blurriness. Dataset and model will be publicly available at https://wywu.github.io/projects/LAB/LAB.html

研究动机与目标

• 为解决由于关键点数量和定义不一致导致的数据集间人脸关键点标注的模糊性和不一致性问题。
• 通过利用定义明确的面部边界作为几何先验，提升对大姿态变化、遮挡和外观变化的鲁棒性。
• 通过一个新的大规模基准，统一评估姿态、表情、光照、化妆、遮挡和模糊等多种因素的影响。
• 建立一个强大且可端到端训练的框架，联合优化边界估计、关键点回归和边界有效性。

提出的方法

• 使用带有信息传递机制的堆叠沙漏网络来估计面部边界热图，增强对遮挡的鲁棒性。
• 在关键点回归网络的多个阶段融合边界热图，以丰富特征学习并提高定位精度。
• 采用基于关键点的边界有效性判别器的对抗性学习方案，以优化边界热图质量。
• 通过来自多个数据集的关键点推导出13条边界线来建模面部结构，确保标注方案的一致性。
• 在多层次融合策略中将边界信息作为结构线索，逐步提升关键点预测性能。
• 以端到端方式联合训练边界估计器、关键点回归器和判别器，以实现最佳性能。

实验结果

研究问题

• RQ1 为何使用面部边界而非直接使用关键点进行人脸对齐？
• RQ2 如何在深度学习框架中有效整合边界信息以提升关键点定位性能？
• RQ3 估计的边界热图质量与最终关键点预测精度之间存在何种关系？
• RQ4 在多个网络阶段进行边界融合如何影响性能表现？
• RQ5 基于边界的监督能否提升在多样化真实世界人脸变化下的泛化能力？

主要发现

• 所提方法在300-W Fullset上实现了3.49%的平均误差，显著优于以往最先进方法。
• 在COFW数据集上，平均误差为3.92%，失败率仅为0.39%，表现出对遮挡的强大鲁棒性。
• 在AFLW-Full数据集上，方法实现了1.25%的平均误差，表明在多样化条件下具有高精度。
• 在回归网络的全部四个阶段进行边界热图融合，可将平均误差从7.12%降低至6.13%，表明融合深度越深，性能提升越稳定。
• 在WFLW数据集的遮挡子集上，边界特征间的信息传递使平均误差降低超过11%，凸显其在严重遮挡下的有效性。
• 采用基于关键点的判别器进行对抗性训练，可将300-W挑战集上的失败率从5.19%降低至3.70%，证实边界质量对最终性能的重要影响。