[论文解读] A Recurrent Encoder-Decoder Network for Sequential Face Alignment

Xi Peng, Rogério Feris+2 more|arXiv (Cornell University)|Aug 19, 2016

Face recognition and analysis参考文献 53被引用 33

一句话总结

该论文提出了一种用于实时视频人脸对齐的循环编码器-解码器网络，通过在解耦特征上利用空间循环反馈和时间循环学习，提升了精度和泛化能力。在具有挑战性的300-VW数据集上，68个关键点设置下的平均误差达到5.43%，实现了最先进性能。

ABSTRACT

We propose a novel recurrent encoder-decoder network model for real-time video-based face alignment. Our proposed model predicts 2D facial point maps regularized by a regression loss, while uniquely exploiting recurrent learning at both spatial and temporal dimensions. At the spatial level, we add a feedback loop connection between the combined output response map and the input, in order to enable iterative coarse-to-fine face alignment using a single network model. At the temporal level, we first decouple the features in the bottleneck of the network into temporal-variant factors, such as pose and expression, and temporal-invariant factors, such as identity information. Temporal recurrent learning is then applied to the decoupled temporal-variant features, yielding better generalization and significantly more accurate results at test time. We perform a comprehensive experimental analysis, showing the importance of each component of our proposed model, as well as superior results over the state-of-the-art in standard datasets.

研究动机与目标

• 解决基于静态图像的人脸对齐在存在大姿态变化和遮挡等挑战性视频场景下的局限性。
• 通过建模长期时间依赖关系，提升序列人脸关键点检测的泛化能力和精度。
• 通过空间循环反馈在单个网络内实现迭代式粗到精对齐。
• 在瓶颈层解耦时间不变（身份）和时间可变（姿态、表情）特征，以实现更有效的时序建模。

提出的方法

• 在输出响应图与输入之间引入反馈回路，实现空间循环学习，从而在单个网络内实现迭代优化。
• 通过监督的身份分类头，将瓶颈层的特征解耦为时间可变和时间不变两部分。
• 对时间可变特征应用循环神经网络（LSTM），以建模视频序列中的长期运动模式。
• 使用回归损失正则化最终的2D人脸关键点图，提升定位精度。
• 通过端到端联合优化自动编码器、身份分类器和循环时间模块进行训练。
• 采用共享编码器-解码器架构，并在空间和时间迭代中共享参数。

实验结果

研究问题

• RQ1 在单个网络中引入空间循环反馈，是否能比级联模型更有效地实现粗到精的人脸对齐？
• RQ2 在瓶颈层对时间可变和时间不变特征进行解耦，是否能提升视频人脸对齐的泛化能力？
• RQ3 在时间可变特征上应用循环学习，是否能相比标准视频建模方法，在长程时间依赖建模上取得更好性能？
• RQ4 引入监督身份监督对特征解耦和推理阶段精度有何影响？
• RQ5 空间循环、时间循环和身份解耦对整体性能的相对贡献如何？

主要发现

• 所提方法在300-VW数据集68点评估设置下，平均误差为5.43%，优于所有最先进方法。
• 在FM数据集7点设置下，该方法达到3.17%的最低误差，展现出在挑战性序列上的卓越性能。
• 引入监督身份解耦使测试精度相比无身份损失的基线提升9%。
• 模型在训练过程中泛化能力更强，仅训练10个周期后，左眼关键点的验证准确率即达84%，且引入了身份损失。
• 模型在Tesla K40 GPU上每帧运行时间约为30ms，可实现实时推理，适合实际部署。
• 消融实验表明，空间循环和时间循环均不可或缺，两者对性能提升均有显著贡献。