[论文解读] Unconstrained Facial Landmark Localization with Backbone-Branches Fully-Convolutional Networks

Zhujin Liang, Shengyong Ding+1 more|arXiv (Cornell University)|Jul 13, 2015

Face recognition and analysis参考文献 19被引用 34

一句话总结

本文提出 BB-FCN，一种主干-分支全卷积网络，可直接从原始图像回归面部关键点响应图，无需预处理或滑动窗口。通过使用共享主干进行粗略检测，并利用专用分支通过局部特征图进行细化，该模型在无约束环境下实现了最先进精度，同时保持高效的端到端推理。

ABSTRACT

This paper investigates how to rapidly and accurately localize facial landmarks in unconstrained, cluttered environments rather than in the well segmented face images. We present a novel Backbone-Branches Fully-Convolutional Neural Network (BB-FCN), which produces facial landmark response maps directly from raw images without relying on pre-process or sliding window approaches. BB-FCN contains one backbone and a number of network branches with each corresponding to one landmark type, and it operates in a progressive manner. Specifically, the backbone roughly detects the locations of facial landmarks by taking the whole image as input, and the branches further refine the localizations based on a local observation from the backbone's intermediate feature map. Moreover, our backbone-branches architecture does not contain full-connection layers for location regression, leading to efficient learning and inference. Our extensive experiments show that our model achieves superior performances over other state-of-the-arts under both the constrained (i.e. with face regions) and the "in the wild" scenarios.

研究动机与目标

• 解决在传统方法因面部分割效果差而失效的无约束、杂乱环境中的准确面部关键点定位挑战。
• 消除对人脸检测或滑动窗口等预处理步骤的依赖，以提升推理速度和鲁棒性。
• 设计一种深度学习架构，利用主干网络中间层的局部特征图实现关键点位置的渐进式细化。
• 在受约束（已定位人脸）和无约束（‘在野外’）面部关键点定位场景中均实现最先进性能。

提出的方法

• 设计一种具有共享主干和多个任务专用分支的主干-分支全卷积网络（BB-FCN），每个分支专门对应一个面部关键点。
• 利用主干处理完整输入图像，并生成全局特征图以进行初始关键点估计。
• 从主干网络中间特征图中，围绕预测的关键点位置提取局部特征块以进行细化。
• 通过专用分支回归响应图来细化关键点位置，避免使用全连接层。
• 使用联合损失函数端到端训练整个网络，以优化关键点定位精度。
• 通过避免全连接层并利用全卷积设计，确保参数效率和快速推理。

实验结果

研究问题

• RQ1 与现有方法相比，全卷积主干-分支架构是否能在无约束环境中实现更优越的关键点定位精度？
• RQ2 通过主干网络中间层的局部特征图进行渐进式细化，如何提升定位精度？
• RQ3 消除预处理和滑动窗口方法在多大程度上提升了推理速度和鲁棒性？
• RQ4 所提出的 BB-FCN 架构在受约束和‘在野外’面部图像场景中是否具有良好的泛化能力？

主要发现

• BB-FCN 模型在受约束和无约束面部关键点定位基准上均实现了最先进性能。
• 由于未使用全连接层，训练和推理速度更快，同时保持高精度。
• 利用局部特征图的渐进式细化机制显著提升了定位精度，优于仅依赖全局检测的方法。
• 该模型在无需人脸检测或图像预处理步骤的情况下，能有效泛化至‘在野外’图像。