[论文解读] A Multi-Scale Cascade Fully Convolutional Network Face Detector

Zhenheng Yang, Ram Nevatia|arXiv (Cornell University)|Sep 12, 2016

Face recognition and analysis参考文献 1被引用 13

一句话总结

该论文提出了一种多尺度级联全卷积网络（FCN）人脸检测器，通过三个阶段的FCN逐步优化人脸定位，利用得分图在不同尺度上生成并优化人脸提议。该方法在AFW数据集上达到最先进性能，在FDDB、PASCAL Faces和IJB-A数据集上取得具有竞争力的结果，对噪声具有更强鲁棒性，且推理时间显著低于DPM。

ABSTRACT

Face detection is challenging as faces in images could be present at arbitrary locations and in different scales. We propose a three-stage cascade structure based on fully convolutional neural networks (FCNs). It first proposes the approximate locations where the faces may be, then aims to find the accurate location by zooming on to the faces. Each level of the FCN cascade is a multi-scale fully-convolutional network, which generates scores at different locations and in different scales. A score map is generated after each FCN stage. Probable regions of face are selected and fed to the next stage. The number of proposals is decreased after each level, and the areas of regions are decreased to more precisely fit the face. Compared to passing proposals directly between stages, passing probable regions can decrease the number of proposals and reduce the cases where first stage doesn't propose good bounding boxes. We show that by using FCN and score map, the FCN cascade face detector can achieve strong performance on public datasets.

研究动机与目标

• 为解决‘野生’图像中的人脸检测挑战，包括光照、姿态、遮挡以及任意人脸尺度和位置的大幅变化。
• 通过用全卷积、多尺度级联框架替代传统滑动窗口和固定尺寸提议方法，提升检测精度与效率。
• 通过利用得分图和FCN架构中的端到端训练，降低对训练数据中噪声标注的敏感性。
• 在多样化的公开数据集上实现优异性能，同时相比SOTA检测器（如DPM和Faceness）保持极低的推理时间。

提出的方法

• 该框架采用三阶段全卷积网络（FCN）级联结构，每个阶段生成得分图以预测每个空间位置的人脸可能性。
• 每个FCN阶段处理多尺度图像输入，通过多流架构生成得分图，聚合不同尺度上的检测置信度。
• 基于得分图中的高激活值选择提议，并传递至下一阶段，后续各阶段聚焦于更小、更精细的区域。
• 最终阶段使用在困难样本上训练的验证FCN，以提升定位精度并减少误报。
• 使用得分图而非固定尺寸提议，消除了图像缩放需求，支持具有空间密集监督的端到端训练。
• 网络仅使用VGG Face数据集中6,000个正样本进行端到端训练，对标注噪声具有极低敏感性。

实验结果

研究问题

• RQ1 全卷积级联框架结合多尺度得分图是否能在人脸检测中超越传统滑动窗口和基于提议的方法？
• RQ2 级联精炼过程如何影响在不同难度水平的多样化数据集上的检测精度与计算效率？
• RQ3 该FCN级联结构在训练数据中存在噪声或不精确边界框标注时，其鲁棒性如何？
• RQ4 该方法在具有极端尺度变化、姿态和光照变化的数据集（如IJB-A）上是否仍能保持高性能？
• RQ5 在精度与推理速度方面，该FCN级联方法与DPM和Faceness等领先检测器相比表现如何？

主要发现

• 在AFW数据集上，FCN级联检测器达到最先进性能，与DPM并列，优于Viola-Jones和CNN级联方法。
• 在FDDB数据集上，FCN级联检测器表现强劲，尽管该数据集聚焦于无约束的真实世界图像，仍位列顶尖检测器之列。
• 在PASCAL Faces数据集上，FCN级联检测器除DPM和Faceness外优于所有其他检测器，展现出在遮挡、复杂背景及多样化人脸实例上的强大泛化能力。
• 在IJB-A数据集上，该数据集具有极端尺度变化、光照变化和遮挡，FCN级联检测器实现了最高的平均精度（AP）和ROC曲线下面积（AUC），优于DPM、Viola-Jones和CNN级联方法。
• FCN级联检测器每帧推理时间为1.1秒，显著快于DPM的14.8秒/帧，表明其在保持高精度的同时具有显著的效率优势。