[论文解读] Faceness-Net: Face Detection through Deep Facial Part Responses

Shuo Yang, Ping Luo+2 more|arXiv (Cornell University)|Jan 29, 2017

Face recognition and analysis参考文献 63被引用 4

一句话总结

该论文提出Faceness-Net，一种基于深度卷积神经网络的面部检测方法，通过面部属性监督隐式学习面部部件检测器，无需显式部件标注。通过基于空间配置对面部部件响应进行评分，该方法生成对遮挡和姿态变化具有鲁棒性的高召回率面部候选区域，在FDDB、PASCAL Faces、AFW和WIDER FACE数据集上达到最先进性能，FDDB数据集上达到92.84%的召回率，单张GPU推理时间为40ms。

ABSTRACT

We propose a deep convolutional neural network (CNN) for face detection leveraging on facial attributes based supervision. We observe a phenomenon that part detectors emerge within CNN trained to classify attributes from uncropped face images, without any explicit part supervision. The observation motivates a new method for finding faces through scoring facial parts responses by their spatial structure and arrangement. The scoring mechanism is data-driven, and carefully formulated considering challenging cases where faces are only partially visible. This consideration allows our network to detect faces under severe occlusion and unconstrained pose variations. Our method achieves promising performance on popular benchmarks including FDDB, PASCAL Faces, AFW, and WIDER FACE.

研究动机与目标

• 探索基于面部属性的监督在提升遮挡和姿态变化下面部检测鲁棒性方面的效用。
• 研究仅通过面部属性识别训练的卷积神经网络是否能在无显式部件监督的情况下自然涌现出部件检测器。
• 开发一种数据驱动的面部似然评分机制，基于面部部件响应的空间一致性评估面部似然性。
• 利用部件响应配置生成高质量、高召回率的面部候选区域，减少对密集滑动窗口的依赖。
• 通过最小的网络结构修改和部件检测器间的参数共享，实现高效且准确的面部检测。

提出的方法

• 在未裁剪的面部图像上训练深层卷积神经网络，使用二值面部属性标签（如大嘴唇、微笑）学习部件特定的特征表示。
• 从网络深层提取部件响应图（称为“部件性图”），隐式检测面部部件，无需显式边界框监督。
• 通过评估检测到的面部部件的空间合理性（如眼睛在嘴巴之上、鼻子位于两眼之间）来构建“面部似然分数”，使用学习到的评分函数实现。
• 利用面部似然分数对通用目标候选区域生成器或基于模板的方法生成的候选区域进行重排序，生成一组紧凑的高质量面部候选区域。
• 通过多任务卷积神经网络对最终的面部检测进行优化，联合回归边界框并分类面部，提升定位精度。
• 在属性特定网络之间共享低层和中层卷积层，将参数量减少约83%，同时提升特征鲁棒性。

实验结果

研究问题

• RQ1 在仅通过面部属性识别进行训练的卷积神经网络中，是否能在无任何显式部件级监督的情况下自然涌现出部件检测器？
• RQ2 面部部件响应的空间一致性是否可被有效利用以提升遮挡和姿态变化下的面部检测性能？
• RQ3 与仅使用边界框监督相比，基于属性的监督是否能在更具挑战性的场景下带来更好的泛化能力？
• RQ4 在部件检测器之间共享特征表示是否能显著减少模型参数量，同时保持或提升性能？
• RQ5 与传统的滑动窗口或R-CNN方法相比，所提出的面部似然评分机制在召回率和效率方面表现如何？

主要发现

• 在FDDB数据集上，该网络在仅167个误报的情况下实现92.84%的召回率，相较于Cascade-CNN在相同条件下提升了4.66%的召回率。
• 仅使用约150个候选区域（约为完整滑动窗口的0.5%和通用目标候选区域的10%），即可实现超过90%的面部召回率，证明了方法的高效率。
• 在单张GPU上运行时间为40ms，Faceness-Net-SR-TP的快速版本显著快于基线模型，同时保持更高的召回率。
• 当在面部属性上进行训练时，即使没有显式部件标注，卷积神经网络中也能自然涌现出部件检测器，验证了本工作的核心观察。
• 该方法在多种基准数据集上泛化良好，包括WIDER FACE、PASCAL Faces、AFW和FDDB，在困难子集（如WIDER FACE中的困难样本）上也表现出色。
• 失败案例主要源于模糊、极端光照、极小的面部尺度（低至20像素高）以及标注缺失，凸显了检测极小面部的挑战。