[论文解读] Face Parsing via a Fully-Convolutional Continuous CRF Neural Network

Lei Zhou, Zhi Liu+1 more|arXiv (Cornell University)|Aug 12, 2017

Face recognition and analysis参考文献 23被引用 32

一句话总结

该论文提出了一种全卷积连续CRF神经网络（FC-CNN），用于人脸分割，该网络整合了具有反卷积层的单变量网络、用于像素间亲和力建模的成对网络，以及用于强制实现空间一致性的可微分连续CRF层。通过端到端训练与超像素引导的细化及高效的MAP推理相结合，该方法在LFW-PL和HELEN数据集上达到了最先进性能。

ABSTRACT

In this work, we address the face parsing task with a Fully-Convolutional continuous CRF Neural Network (FC-CNN) architecture. In contrast to previous face parsing methods that apply region-based subnetwork hundreds of times, our FC-CNN is fully convolutional with high segmentation accuracy. To achieve this goal, FC-CNN integrates three subnetworks, a unary network, a pairwise network and a continuous Conditional Random Field (C-CRF) network into a unified framework. The high-level semantic information and low-level details across different convolutional layers are captured by the convolutional and deconvolutional structures in the unary network. The semantic edge context is learnt by the pairwise network branch to construct pixel-wise affinity. Based on a differentiable superpixel pooling layer and a differentiable C-CRF layer, the unary network and pairwise network are combined via a novel continuous CRF network to achieve spatial consistency in both training and test procedure of a deep neural network. Comprehensive evaluations on LFW-PL and HELEN datasets demonstrate that FC-CNN achieves better performance over the other state-of-arts for accurate face labeling on challenging images.

研究动机与目标

• 解决现有面部分割方法在保留细粒度细节和空间一致性方面的局限性。
• 实现一种通过可微分连续CRF实现结构化预测的深度神经网络的端到端训练。
• 通过基于超像素的上下文建模，提升对小型面部组件（如眉毛、眼睛）的分割精度。
• 通过在超像素上操作以降低CRF推理的计算成本，同时保持高分辨率输出。
• 将单变量、成对和CRF组件统一为一个全卷积架构，用于密集像素级标注。

提出的方法

• 使用堆叠的卷积和反卷积模块的单变量网络，以恢复高分辨率特征并保留图像细节。
• 成对网络学习像素间的亲和力，以建模相邻超像素之间的空间关系。
• 可微分的超像素池化层聚合来自超像素的特征，以指导标签预测并强制实现局部一致性。
• 连续CRF层使用基于超像素的亲和力矩阵执行可微分、精确的MAP推理，以优化分割图。
• 整个网络采用端到端训练，其中连续CRF层作为反向传播过程中的可学习组件集成。
• 该框架结合了来自多个卷积层的层次化特征，并利用超像素先验知识，以提高边界精度和区域完整性。

实验结果

研究问题

• RQ1 与后处理CRF方法相比，是否能够通过集成可微分CRF层的全卷积神经网络实现更优的人脸分割性能？
• RQ2 集成基于超像素的上下文是否能提升对小型面部组件的分割精度？
• RQ3 通过可微分连续CRF实现的端到端训练，在多大程度上提升了空间一致性和边界清晰度？
• RQ4 可微分连续CRF层能否高效地集成到深度学习框架中，实现实时推理的人脸分割？
• RQ5 与最先进全卷积网络相比，所提出的架构在处理细粒度面部区域方面表现如何？

主要发现

• FC-CNN在LFW-PL数据集上达到最先进性能，整体和各类F-measure均优于FCN、CRFFCN、DEEPLAB和SEGNET等方法。
• 在HELEN数据集上，FC-CNN在所有类别上的F-measure均高于FCN、DEEPLAB和CRFFCN，尤其在眉毛、眼睛等小型和稀有面部组件上表现更优。
• 引入超像素及超像素池化层后，HELEN数据集中全部七个类别的分割精度均得到提升，减少了误分类区域并增强了区域一致性。
• 消融实验表明，连续CRF层显著提升了边界精度并减少了噪声，尤其在内嘴角、眼眉等细粒度区域效果明显。
• 可微分CRF层在训练和测试阶段均实现了高效且精确的MAP推理，避免了传统CRF后处理的高成本。
• 定性结果表明，FC-CNN生成的掩码比基线方法更精确、更细致，尤其在保留小型物体边界和减少过度分割方面表现更优。