[论文解读] From Facial Parts Responses to Face Detection: A Deep Learning Approach

Shuo Yang, Ping Luo+2 more|arXiv (Cornell University)|Sep 22, 2015

Face recognition and analysis参考文献 33被引用 103

一句话总结

本文提出 Faceness-Net，一种两阶段深度学习框架，通过基于其空间配置的面部部件响应（如眼睛、鼻子、嘴巴）评分来检测人脸，从而在严重遮挡和姿态变化下实现鲁棒检测。该方法在 FDDB 上实现 90.99% 的召回率——比之前最先进方法高出 2.91%——同时通过高效的候选框生成与优化，保持了实用的推理速度。

ABSTRACT

In this paper, we propose a novel deep convolutional network (DCN) that achieves outstanding performance on FDDB, PASCAL Face, and AFW. Specifically, our method achieves a high recall rate of 90.99% on the challenging FDDB benchmark, outperforming the state-of-the-art method by a large margin of 2.91%. Importantly, we consider finding faces from a new perspective through scoring facial parts responses by their spatial structure and arrangement. The scoring mechanism is carefully formulated considering challenging cases where faces are only partially visible. This consideration allows our network to detect faces under severe occlusion and unconstrained pose variation, which are the main difficulty and bottleneck of most existing face detection approaches. We show that despite the use of DCN, our network can achieve practical runtime speed.

研究动机与目标

• 解决传统方法在严重遮挡和大姿态变化下仍存在的瓶颈问题。
• 开发一种基于深度学习的人脸检测器，无需依赖部件级标注，而是通过属性感知网络隐式学习部件响应。
• 通过基于面部部件响应空间一致性的新型“人脸度”评分，提升人脸检测的召回率。
• 在仅使用少量候选框（例如每张图像约 150 个）的情况下实现高检测精度，同时保持实时推理性能。
• 通过两阶段流水线实现端到端人脸检测：(1) 基于部件响应的候选框生成；(2) 通过多任务学习对候选框进行优化。

提出的方法

• 在通用物体上训练属性感知的深度网络，并通过特定部件的二值属性（如“大嘴唇”、“微笑”）进行微调，以在深层生成部件度量图。
• 通过对单张未裁剪图像进行一次前向传播，生成部件度量图（面部部件的响应图），无需预先进行人脸检测。
• 通过评估检测到的部件的空间排列来计算“人脸度”评分——对不一致的配置（如嘴巴位于鼻子上方）进行惩罚，以评估人脸的可能性。
• 利用“人脸度”评分对通用物体候选框（如 MCG 或 Edgebox）进行重排序，生成高质量且数量较少的面部候选框（每张图像约 150 个）。
• 使用联合执行人脸识别与精确定位的多任务深度网络，对最终的人脸边界框进行优化。
• 在部件检测器之间共享早期卷积层（conv1–conv5），以减少计算冗余并提升推理速度。

实验结果

研究问题

• RQ1 仅使用属性级监督，深度卷积网络能否在无需显式部件标注的情况下学习检测面部部件？
• RQ2 能否有效利用面部部件响应的空间一致性，以提升在遮挡和姿态变化下的检测鲁棒性？
• RQ3 基于部件的评分机制是否能显著提升人脸候选框的召回率，同时减少所需候选框数量？
• RQ4 是否可以通过两阶段深度学习流水线，在保持实用运行时速度的前提下实现最先进的人脸检测性能？
• RQ5 在具有挑战性的条件下，与端到端检测器相比，该方法在召回率、精确率和效率方面表现如何？

主要发现

• Faceness-Net 在 FDDB 基准上实现 90.99% 的召回率，比之前最先进方法高出 2.91 个百分点。
• 仅使用每张图像 150 个候选框（约全滑动窗口的 0.5%），该方法即实现超过 90% 的召回率，证明了其候选框生成的高效率。
• 由于基于部件的推理机制，该方法在严重遮挡下仍保持高性能——可检测出超过一半面部区域被遮挡的人脸。
• 基于部件度量图评分的候选框生成步骤，在仅使用 200 个候选框时，其召回率与精确率均优于通用物体候选框（如 MCG）。
• 最终检测器在 PASCAL Faces 和 AFW 数据集上达到最先进性能，相比可变形部件模型与级联检测器，平均精确率与召回率均更优。
• 该方法在单张 GPU 上处理每张 VGA 图像仅需 50 ms，尽管使用深层网络，仍展现出实用的运行时效率。