[论文解读] Facial Key Points Detection using Deep Convolutional Neural Network - NaimishNet

Naimish Agarwal, Artus Krohn-Grimberghe+1 more|arXiv (Cornell University)|Oct 3, 2017

Face recognition and analysis参考文献 11被引用 7

一句话总结

本文提出 NaimishNet，一种基于 LeNet 的深度卷积神经网络，用于面部关键点检测。通过利用 ELU 激活函数、渐进式丢弃率和残差风格训练，该模型在 15 个关键点面部关键点数据集上实现了最先进性能，所有关键点的平均测试 RMSE 为 1.03。

ABSTRACT

Facial Key Points (FKPs) Detection is an important and challenging problem in the fields of computer vision and machine learning. It involves predicting the co-ordinates of the FKPs, e.g. nose tip, center of eyes, etc, for a given face. In this paper, we propose a LeNet adapted Deep CNN model - NaimishNet, to operate on facial key points data and compare our model's performance against existing state of the art approaches.

研究动机与目标

• 开发一种轻量级、高效的深度学习模型，以在不同姿态、光照和面部变化条件下实现精确的面部关键点检测。
• 通过卷积层和全连接层结合批量归一化与丢弃率，将 LeNet 架构改进为基于回归的面部关键点预测模型。
• 通过渐进式丢弃率和 ELU 激活函数提升模型泛化能力并减少过拟合。
• 在包含 15 个面部关键点标注的标准基准数据集上评估性能。
• 将 NaimishNet 的性能与现有最先进模型在面部关键点检测任务中的表现进行对比。

提出的方法

• NaimishNet 采用 4 个卷积层、4 个最大池化层和 3 个全连接层的架构，使用 ELU 激活函数和从 0.1 到 0.6 逐步增加的丢弃率。
• 网络处理灰度 96×96 输入图像，卷积层不使用零填充，滤波器大小从 (4,4) 递减至 (1,1)。
• 权重初始化采用 Glorot 均匀分布，最终输出层使用线性激活函数预测每个面部关键点的 2D 坐标 (x, y)。
• 使用 Adam 优化器进行训练，固定学习率为 0.001，并最小化均方误差 (MSE) 损失。
• 训练最多进行 300 个周期，基于验证损失实施早停策略，模型检查点按间隔保存。
• 考虑了数据增强和预处理技术（如直方图拉伸和图像翻转），但未在最终模型中显式应用。

实验结果

研究问题

• RQ1 经过修改的 LeNet 架构是否能在最小化架构复杂度的前提下实现面部关键点检测的最先进性能？
• RQ2 渐进式丢弃率和 ELU 激活函数如何影响关键点回归任务中的模型泛化能力和收敛性？
• RQ3 在数据量有限的情况下，最小化过拟合的最优训练调度和早停策略是什么？
• RQ4 在 15 个面部关键点目标上，NaimishNet 与 Longpre 等人及 Oneto 等人的现有模型相比，RMSE 表现如何量化比较？
• RQ5 该模型在姿态、光照和表情等多样化面部变化下的泛化能力如何？

主要发现

• NaimishNet 在所有 15 个面部关键点目标上实现了 1.03 的平均测试 RMSE，表明其具有强大的泛化能力和鲁棒性。
• 模型在所有关键点类型上均表现出一致的收敛性，训练与验证 RMSE 曲线高度吻合，表明过拟合程度极低。
• 对于大多数关键点目标，最佳模型检查点在 300 个周期之前即已达到，表明训练动态高效。
• 左眼和右眼中心的损失曲线（图 5 和图 6）呈平滑、单调下降趋势，波动极小，表明优化过程稳定。
• 模型在 Kaggle 基准测试中 RMSE 分数低于 Longpre 等人和 Oneto 等人的先前方法，表现更优。
• 鼻尖的最佳模型测试 RMSE 为 0.37，而左眼中心最差为 6.87，表明不同关键点的检测难度存在差异。