[论文解读] Multi-Branch Fully Convolutional Network for Face Detection

Yancheng Bai, Bernard Ghanem|arXiv (Cornell University)|Jul 20, 2017

Face recognition and analysis参考文献 27被引用 3

一句话总结

本文提出了一种多分支全卷积网络（MB-FCN）用于人脸检测，通过利用来自多个卷积层的特定尺度跳跃连接，在单次前向传播中实现对所有人脸尺度的检测。该方法在FDDB和WIDER FACE数据集上达到最先进性能，尤其在具有挑战性的Hard子集上表现优异，且在640×480图像上以15 FPS的速度运行，无需假设最小可检测人脸尺寸。

ABSTRACT

Face detection is a fundamental problem in computer vision. It is still a challenging task in unconstrained conditions due to significant variations in scale, pose, expressions, and occlusion. In this paper, we propose a multi-branch fully convolutional network (MB-FCN) for face detection, which considers both efficiency and effectiveness in the design process. Our MB-FCN detector can deal with faces at all scale ranges with only a single pass through the backbone network. As such, our MB-FCN model saves computation and thus is more efficient, compared to previous methods that make multiple passes. For each branch, the specific skip connections of the convolutional feature maps at different layers are exploited to represent faces in specific scale ranges. Specifically, small faces can be represented with both shallow fine-grained and deep powerful coarse features. With this representation, superior improvement in performance is registered for the task of detecting small faces. We test our MB-FCN detector on two public face detection benchmarks, including FDDB and WIDER FACE. Extensive experiments show that our detector outperforms state-of-the-art methods on all these datasets in general and by a substantial margin on the most challenging among them (e.g. WIDER FACE Hard subset). Also, MB-FCN runs at 15 FPS on a GPU for images of size 640 x 480 with no assumption on the minimum detectable face size.

研究动机与目标

• 解决在尺度、姿态、表情和遮挡方面存在极端变化的人脸检测挑战。
• 通过融合浅层细粒度特征与深层粗粒度特征，提升小人脸的检测精度。
• 通过消除多尺度图像金字塔的需求，提升计算效率。
• 通过单次前向传播，在所有尺度范围内实现高性能检测。
• 在不假设最小可检测人脸尺寸的前提下，保持实时推理速度。

提出的方法

• MB-FCN架构采用多个分支，每个分支专门用于检测特定尺度范围内的面孔。
• 每个分支利用来自不同卷积层的跳跃连接，实现空间与语义层级特征的融合。
• 将浅层特征（高分辨率）与深层特征（语义丰富）结合，更有效地表征小人脸。
• 网络使用全卷积头进行位置分类与边界框回归。
• 在所有分支上应用非极大值抑制，以合并检测结果并生成最终输出。
• 模型在WIDER FACE数据集上端到端训练，并在WIDER FACE与FDDB基准上进行评估。

实验结果

研究问题

• RQ1 单次推理、多分支全卷积网络架构是否能在人脸检测的精度与效率上超越多尺度金字塔方法？
• RQ2 融合浅层与深层特征如何提升对小人脸的检测性能？
• RQ3 特定尺度跳跃连接是否能提升在WIDER FACE Hard等困难子集上的性能？
• RQ4 在去除图像金字塔后，精度与推理速度之间存在何种权衡？
• RQ5 不假设最小人脸尺寸对检测性能的影响有多大？

主要发现

• MB-FCN在FDDB与WIDER FACE上均达到最先进性能，相较于CMS-RCNN在WIDER FACE Hard子集上实现14.0%的绝对性能提升。
• 在WIDER FACE Hard子集上，MB-FCN优于所有先前方法，即使仅在WIDER FACE上训练，也优于在FDDB上微调的方法。
• 该模型在GPU上以15 FPS的速度运行于640×480图像，且不假设最小可检测人脸尺寸。
• 使用特定尺度跳跃连接显著提升了小人脸检测性能，这在小尺度基准上的优异表现中得到验证。
• 多尺度推理策略（MB-FCN-ms）实现了更高精度（Hard子集提升+4.0%），但速度慢五倍，证实了单次前向设计的高效性。
• 定性结果表明，模型对极端姿态、遮挡与表情的人脸具有鲁棒检测能力，但在严重截断或低分辨率人脸上的检测仍存在失败情况。