[论文解读] Deep Regression for Face Alignment

Baoguang Shi, Xiang Bai+2 more|arXiv (Cornell University)|Sep 18, 2014

Face recognition and analysis参考文献 29被引用 23

一句话总结

本文提出 DeepReg，一种用于人脸对齐的深度回归框架，通过反向传播与 dropout 技术联合优化全局回归器和多阶段局部回归器，实现面部关键点预测的平衡、渐进式精炼。该方法通过避免传统级联方法中早期阶段过强而后期阶段表现薄弱的不平衡问题，在基准数据集上实现了最先进性能。

ABSTRACT

In this paper, we present a deep regression approach for face alignment. The deep architecture consists of a global layer and multi-stage local layers. We apply the back-propagation algorithm with the dropout strategy to jointly optimize the regression parameters. We show that the resulting deep regressor gradually and evenly approaches the true facial landmarks stage by stage, avoiding the tendency to yield over-strong early stage regressors while over-weak later stage regressors. Experimental results show that our approach achieves the state-of-the-art

研究动机与目标

• 解决级联回归中的不平衡问题，即早期阶段过强而后期阶段表现不足。
• 在姿态、表情和光照等非受控条件下，提升面部关键点定位的准确性。
• 开发一种深度回归架构，联合优化所有阶段，而非顺序训练。
• 通过在所有回归阶段之间平衡偏差与方差，实现在基准数据集上的卓越性能。

提出的方法

• 网络架构由一个用于初始形状估计的全局层和 T 个用于迭代精炼的局部层组成。
• 全局层利用全局图像特征，通过线性回归预测初始形状。
• 每个局部层提取围绕每个关键点的形状索引局部特征，并应用线性回归器预测形状增量。
• 形状估计通过迭代方式更新：$\mathbf{s}^{t} = \mathbf{s}^{t-1} + \mathbf{W}^{t}\boldsymbol{\upphi}^{t}$，其中 $\boldsymbol{\upphi}^{t}$ 为局部特征向量。
• 所有回归参数通过使用 dropout 的反向传播进行联合优化，以防止过拟合并提升泛化能力。
• 该方法通过同时学习所有阶段避免顺序训练，确保各阶段贡献均衡。

实验结果

研究问题

• RQ1 联合优化深度回归器是否能提升人脸对齐中序列级联回归的性能？
• RQ2 联合训练的深度回归器是否能减少早期阶段过强与后期阶段过弱之间的不平衡？
• RQ3 全局回归器的引入在多阶段人脸对齐中对初始化和最终精度有何影响？
• RQ4 所提出的方法是否能在 300-W 和 LFPW 等标准基准数据集上超越现有最先进方法？
• RQ5 联合训练在多大程度上能同时降低所有阶段的偏差与方差？

主要发现

• 在 300-W Common 子集上，DeepReg 的平均误差为 6.31，优于 SequentialReg（6.57）和 DeepRegLocal（6.57）。
• 在 300-W Fullset 上，DeepReg 的平均误差为 4.51，优于 SequentialReg（4.67）和 DeepRegLocal（4.67）。
• 在 LFPW 数据集上，DeepReg 的平均误差为 5.11，优于 SequentialReg（5.11）和 DeepRegLocal（5.11），尽管略逊于 LBF。
• 各阶段的误差曲线显示，联合学习下估计误差逐渐且均匀地降低，而序列学习下早期阶段误差急剧下降，后期阶段趋于平缓。
• 实证分析证实，联合优化能更均匀地降低所有阶段的偏差与方差，从而带来更优的整体性能。
• 全局回归器显著改善了初始化，是 DeepReg 相较于使用均值形状初始化的 DeepRegLocal 表现更优的关键原因。