[论文解读] Deep Cascaded Regression for Face Alignment

Hanjiang Lai, Shengtao Xiao+4 more|arXiv (Cornell University)|Oct 30, 2015

Face recognition and analysis参考文献 44被引用 19

一句话总结

本文提出了一种端到端的深度级联回归框架，利用卷积神经网络（CNN）学习高度判别性的形状索引特征，用于人脸对齐。通过将深度特征学习与形状索引池化及概率掩码初始化相结合，该方法在基准数据集上实现了最先进（SOTA）的性能表现。

ABSTRACT

We propose a novel cascaded regression framework for face alignment based on a deep convolutional neural network (CNN). In most existing cascaded regression methods, the shape-indexed features are either obtained by hand-crafted visual descriptors or by leaning from the shallow models. This setting may be suboptimal for the face alignment task. To solve this problem, we propose an end-to-end CNN architecture to learn highly discriminative shape-indexed features. First, our deep architecture encodes the image into high-level feature maps in the same size of the image via three main operations: convolution, pooling and deconvolution. Then, we propose Shape-Indexed Pooling to extract the deep features from these high level descriptors. We refine the shape via sequential regressions by using the deep shape-indexed features, which demonstrates outstanding performance. We also propose to learn the probability mask for each landmark that can be used to choose the initialization from the shape space. Extensive evaluations conducted on several benchmark datasets demonstrate that the proposed deep framework shows significant improvement over the state-of-the-art methods.

研究动机与目标

• 解决现有级联回归方法中手工设计或浅层学习的形状索引特征性能不佳的问题。
• 开发一种端到端的深度学习架构，联合学习图像表征与形状优化。
• 通过形状索引池化学习空间感知特征，提升关键点定位精度。
• 通过在形状空间中学习每个关键点的概率掩码，提升初始化的鲁棒性。

提出的方法

• 设计一种深度CNN架构，通过卷积、池化和转置卷积生成与输入图像尺寸匹配的高层特征图。
• 引入形状索引池化，从高层描述符中提取深度特征，特别针对当前形状估计进行定制化处理。
• 利用深度形状索引特征进行序列回归，迭代优化面部关键点坐标。
• 为每个关键点学习概率掩码，以形状空间中的初始化提供引导，提升收敛性和鲁棒性。
• 端到端训练整个网络，联合优化特征学习与形状回归。

实验结果

研究问题

• RQ1 与手工设计或浅层特征相比，端到端深度特征学习是否能提升形状索引特征表示在人脸对齐中的性能？
• RQ2 将形状索引池化集成到深度CNN架构中，对关键点定位精度有何影响？
• RQ3 为关键点学习概率掩码在多大程度上能改善初始化效果及整体对齐性能？
• RQ4 所提出的结合深度特征的级联回归框架是否在标准基准测试中优于当前最先进方法？

主要发现

• 所提出的深度级联回归框架在多个基准数据集上显著优于现有最先进方法。
• 将端到端深度特征学习与形状索引池化相结合，可生成更具判别性且空间精度更高的关键点表征。
• 使用学习得到的概率掩码进行关键点初始化，显著提升了回归过程中的鲁棒性与收敛性。
• 大量实验评估证实了该方法在对齐精度方面的优越性，且在不同数据集上均表现出一致的性能提升。