[论文解读] ACE-Net: Fine-Level Face Alignment through Anchors and Contours Estimation

Jihua Huang, Amir Tamrakar|arXiv (Cornell University)|Dec 2, 2020

Face recognition and analysis参考文献 48被引用 4

一句话总结

ACE-Net 是一种深度学习框架，通过弱监督损失利用现有的关键点数据集和合成数据，预测细粒度的面部锚点和轮廓，而非传统的稀疏关键点。它在轮廓精度上优于基于关键点插值的方法，并且在 HELEN 数据集上即使仅使用 36 或 68 个关键点进行训练，也优于完全监督模型。

ABSTRACT

We propose a novel facial Anchors and Contours Estimation framework, ACE-Net, for fine-level face alignment tasks. ACE-Net predicts facial anchors and contours that are richer than traditional facial landmarks while overcoming ambiguities and inconsistencies in their definitions. We introduce a weakly supervised loss enabling ACE-Net to learn from existing facial landmarks datasets without the need for reannotation. Instead, synthetic data, from which GT contours can be easily obtained, is used during training to bridge the density gap between landmarks and true facial contours. We evaluate the face alignment accuracy of ACE-Net with respect to the HELEN dataset which has 194 annotated facial landmarks, while it is trained with only 68 or 36 landmarks from the 300-W dataset. We show that ACE-Net generated contours are better than contours interpolated straight from the 68 GT landmarks and ACE-Net also outperforms models trained only with full supervision from GT landmarks-based contours.

研究动机与目标

• 解决现有细粒度人脸对齐中稀疏、不一致且模糊的面部关键点表示所带来的局限性。
• 通过利用现有关键点数据集和合成数据的弱监督，消除对手动标注面部轮廓的高成本需求。
• 开发一种统一的表示形式——锚点与轮廓（AC）——为后续任务（如网格拟合）提供更密集、更精确的面部结构约束。
• 即使在训练标注稀疏的区域，也能实现高精度轮廓估计，提升低标注密度区域的鲁棒性。
• 使用 HELEN 等密集标注数据集，建立 AC 表示的新评估基准。

提出的方法

• ACE-Net 采用双模块架构：AC 预测模块负责回归锚点和轮廓的热力图，AC 提取模块则将这些热力图优化至亚像素精度。
• 提出一种新颖的“轮廓度”损失，强制预测的轮廓通过现有面部关键点，实现在无需重新标注的情况下实现弱监督。
• 利用带有真实轮廓的合成数据提供完整监督，弥合稀疏关键点与密集轮廓之间的密度差距。
• 轮廓度损失基于可导向滤波器构建，可通过卷积高效计算轮廓置信度，同时提供轮廓方向和法向图的闭式解。
• 在低分辨率特征图上应用中间监督信号，以线段轮廓作为伪真实标签，提升训练稳定性。
• 该框架与网络架构无关，可与多种主干网络（包括带中间监督的网络）集成。

实验结果

研究问题

• RQ1 深度学习模型能否比从稀疏关键点插值得到的轮廓更准确地预测密集面部轮廓？
• RQ2 来自现有关键点数据集的弱监督是否能有效训练模型，实现无需重新标注的精确轮廓预测？
• RQ3 尽管存在域差距，结合真实轮廓的合成数据是否能改善关键点之间的区域的轮廓定位？
• RQ4 所提出的 AC 表示是否能在细粒度人脸对齐任务中超越标准的关键点基线方法？
• RQ5 轮廓度损失是否能有效对齐预测轮廓与不同数据集中的已知关键点位置？

主要发现

• ACE-Net 在 HELEN 数据集上优于从 68 个关键点插值得到的轮廓，证明学习得到的轮廓比线性或样条插值更准确。
• 即使仅使用 36 个关键点进行训练，ACE-Net 仍能取得具有竞争力的性能，表明稀疏关键点的弱监督已足够实现高质量轮廓预测。
• 使用合成数据与弱监督训练的模型，优于仅依赖关键点衍生轮廓的全监督模型，证明了合成数据在弥合标注密度差距方面的优势。
• ACE-Net 生成的轮廓达到亚像素精度，与真实面部几何结构对齐更优，经 HELEN 数据集密集标注验证。
• 轮廓度损失实现了有效的弱监督，使模型无需重新标注即可在不同关键点定义和数据集间泛化。
• 定性结果表明，ACE-Net 生成的轮廓更平滑、更符合解剖学特征，尤其在鼻部和口部等困难区域表现更优。