[论文解读] Effective face landmark localization via single deep network

Zongping Deng, Ke Li+3 more|arXiv (Cornell University)|Feb 9, 2017

Face recognition and analysis被引用 10

一句话总结

本文提出一种用于人脸关键点定位的单一深度网络（SDN），用由三个三层模块堆叠而成的结构（每个模块包含两层卷积层和最大池化层）替代标准CNN架构，以分层方式提取特征。通过结合一种新颖的数据增强策略和训练技巧，SDN在训练数据有限的情况下，于COFW和300-W数据集上实现了最先进（SOTA）的准确率与速度。

ABSTRACT

In this paper, we propose a novel face alignment method using single deep network (SDN) on existing limited training data. Rather than using a max-pooling layer followed one convolutional layer in typical convolutional neural networks (CNN), SDN adopts a stack of 3 layer groups instead. Each group layer contains two convolutional layers and a max-pooling layer, which can extract the features hierarchically. Moreover, an effective data augmentation strategy and corresponding training skills are also proposed to over-come the lack of training images on COFW and 300-W da-tasets. The experiment results show that our method outper-forms state-of-the-art methods in both detection accuracy and speed.

研究动机与目标

• 为解决人脸关键点定位中训练数据有限的挑战，提出一种更高效的深度学习方法。
• 相比现有的基于CNN的人脸对齐方法，提升检测准确率与推理速度。
• 通过有效的数据增强与训练策略，克服COFW和300-W数据集中的数据稀缺问题。
• 设计一种分层捕获面部特征的深度网络架构，避免依赖最大池化后接单一卷积层的结构。

提出的方法

• 所提出的SDN将标准CNN模块替换为三个三层模块的堆叠结构，每个模块由两层卷积层后接最大池化层构成。
• 每个模块组通过逐步捕获从低级到高级的面部表征，实现分层特征提取。
• 提出一种定制化的数据增强策略，以人工方式扩展训练数据，提升在COFW和300-W数据集上的泛化能力。
• 应用专门的训练技巧以稳定优化过程，并在数据稀缺条件下增强模型收敛性。
• 网络采用端到端方式进行训练，直接从输入图像预测68个面部关键点坐标。
• 通过利用分层特征学习与增强数据，即使在真实样本有限的情况下，也能有效避免过拟合。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，单一深度网络架构是否能超越现有的多阶段或多分支CNN方法在人脸关键点定位中的表现？
• RQ2 与标准CNN模块相比，堆叠的三层模块设计在捕获分层面部特征方面有多高效？
• RQ3 数据增强与专门训练策略在小规模人脸关键点数据集（如COFW和300-W）上能将性能提升到何种程度？
• RQ4 所提出方法是否在准确率与推理速度两方面均优于现有最先进方法？

主要发现

• SDN在COFW和300-W基准数据集上均实现了最先进（SOTA）的检测准确率。
• 模型展现出卓越的推理速度，适用于实时应用场景。
• 所提出的增强数据与训练策略能有效缓解在有限训练数据上的过拟合问题。
• 通过堆叠模块组实现的分层特征提取，相比标准CNN架构，显著提升了关键点定位的精度。
• 在COFW数据集上，该方法在平均误差与失败率方面均优于现有SOTA方法。