[论文解读] KEPLER: Keypoint and Pose Estimation of Unconstrained Faces by Learning Efficient H-CNN Regressors

Amit Kumar, Azadeh Alavi+1 more|arXiv (Cornell University)|Feb 16, 2017

Face recognition and analysis参考文献 3被引用 6

一句话总结

KEPLER 提出了一种基于新型通道化 Inception H-CNN 架构的迭代级联回归框架，用于在无约束人脸图像中估计面部关键点位置及 3D 姿态（俯仰角、偏航角、翻滚角）。通过在五轮迭代中联合回归可见性、特征点与 3D 姿态，该方法在 AFLW 和 AFW 数据集上实现了最先进性能，在 AFLW-Allvariants 上的平均误差为 2.35px，在 3D 姿态估计中平均误差为 6.45°。

ABSTRACT

Keypoint detection is one of the most important pre-processing steps in tasks such as face modeling, recognition and verification. In this paper, we present an iterative method for Keypoint Estimation and Pose prediction of unconstrained faces by Learning Efficient H-CNN Regressors (KEPLER) for addressing the face alignment problem. Recent state of the art methods have shown improvements in face keypoint detection by employing Convolution Neural Networks (CNNs). Although a simple feed forward neural network can learn the mapping between input and output spaces, it cannot learn the inherent structural dependencies. We present a novel architecture called H-CNN (Heatmap-CNN) which captures structured global and local features and thus favors accurate keypoint detecion. HCNN is jointly trained on the visibility, fiducials and 3D-pose of the face. As the iterations proceed, the error decreases making the gradients small and thus requiring efficient training of DCNNs to mitigate this. KEPLER performs global corrections in pose and fiducials for the first four iterations followed by local corrections in the subsequent stage. As a by-product, KEPLER also provides 3D pose (pitch, yaw and roll) of the face accurately. In this paper, we show that without using any 3D information, KEPLER outperforms state of the art methods for alignment on challenging datasets such as AFW and AFLW.

研究动机与目标

• 解决在无约束、无约束及遮挡人脸图像中准确进行面部关键点定位的挑战，此类场景下固定结构模型会失效。
• 通过支持无需先验形状假设的级联回归，克服固定结构回归器的局限性，实现对任意人脸形状的适应。
• 将 3D 面部姿态（俯仰角、偏航角、翻滚角）与关键点可见性作为关键点估计流程的副产品一并预测。
• 在误差减小导致梯度减弱的后期训练阶段，通过按阶段调整训练策略，提升训练效率。
• 提出一种新的 AFLW 评估协议，包含多样的姿态与表情变化，提升真实感与挑战性。

提出的方法

• 提出一种通道化 Inception H-CNN 架构，从中间层聚合并连接特征，受 GoogLeNet 的 Inception 模块启发，但引入通道级特征融合。
• 设计一种迭代级联回归框架，每一阶段预测所有 68 个特征点的增量偏移量，同时保持形状一致性。
• 使用多任务损失函数，联合训练 H-CNN 完成三项任务：关键点可见性置信度、2D 特征点坐标与 3D 姿态（俯仰角、偏航角、翻滚角）。
• 由于误差减小导致梯度减弱，在各轮迭代中应用不同的训练策略，尤其在后期阶段。
• 采用受 [9] 启发的固定点整合方案，以稳定关键点估计并提升收敛性。
• 在最后一轮迭代中，利用其对数据集间边界框不一致性进行精细化调整，尤其在 AFW 数据集中非均匀标注的情况下表现更优。

实验结果

研究问题

• RQ1 在无先验形状约束的条件下，级联回归能否有效适配任意无约束人脸？
• RQ2 深度 H-CNN 架构能否在保持结构一致性的前提下，联合回归关键点位置、可见性与 3D 姿态？
• RQ3 通过各阶段特定的训练策略进行迭代优化，能否在梯度减弱的区域提升收敛性与准确性？
• RQ4 该方法能否在具有不同边界框标注与遮挡水平的数据集之间实现良好泛化？
• RQ5 联合多任务学习可见性与 3D 姿态在多大程度上能提升关键点定位性能？

主要发现

• KEPLER 在 AFLW-Allvariants 协议上实现了 2.35px 的平均绝对误差（MAE），优于所有先前的最先进方法。
• 在 AFW 数据集上，KEPLER 实现了 3.01px 的 MAE，仅次于 CCL，且在使用第五轮迭代时性能提升了 60%。
• KEPLER 将 AFLW 测试集上 3D 姿态估计的平均误差降低至：偏航角 6.45°，俯仰角 5.85°，翻滚角 8.75°。
• 该方法在 3D 姿态估计中达到 96.67% 的准确率，且在 AFW 数据集上超过 96% 的预测结果在 ±15° 误差容限内。
• 在 AFLW 上第五轮迭代为可选，但在 AFW 上能带来 60% 的性能增益，证明其在处理边界框标注不一致问题上的价值。
• 可视化结果表明，KEPLER 能在亚像素级别有效校正关键点位置，并在遮挡情况下比先前方法更具鲁棒性，尤其在第五轮迭代后表现更优。