[论文解读] CMS-RCNN: Contextual Multi-Scale Region-based CNN for Unconstrained Face Detection

Chenchen Zhu, Yutong Zheng+2 more|arXiv (Cornell University)|Jun 17, 2016

Face recognition and analysis被引用 15

一句话总结

CMS-RCNN 提出了一种上下文多尺度区域基础卷积神经网络，通过整合多尺度特征和显式的身体上下文推理，提升在遮挡、低分辨率和姿态变化等极端条件下的鲁棒性人脸检测性能。该方法在 WIDER FACE 数据集上达到最先进水平，在 FDDB 上也取得具有竞争力的结果，在所有难度划分中均优于强基线模型。

ABSTRACT

Robust face detection in the wild is one of the ultimate components to support various facial related problems, i.e. unconstrained face recognition, facial periocular recognition, facial landmarking and pose estimation, facial expression recognition, 3D facial model construction, etc. Although the face detection problem has been intensely studied for decades with various commercial applications, it still meets problems in some real-world scenarios due to numerous challenges, e.g. heavy facial occlusions, extremely low resolutions, strong illumination, exceptionally pose variations, image or video compression artifacts, etc. In this paper, we present a face detection approach named Contextual Multi-Scale Region-based Convolution Neural Network (CMS-RCNN) to robustly solve the problems mentioned above. Similar to the region-based CNNs, our proposed network consists of the region proposal component and the region-of-interest (RoI) detection component. However, far apart of that network, there are two main contributions in our proposed network that play a significant role to achieve the state-of-the-art performance in face detection. Firstly, the multi-scale information is grouped both in region proposal and RoI detection to deal with tiny face regions. Secondly, our proposed network allows explicit body contextual reasoning in the network inspired from the intuition of human vision system. The proposed approach is benchmarked on two recent challenging face detection databases, i.e. the WIDER FACE Dataset which contains high degree of variability, as well as the Face Detection Dataset and Benchmark (FDDB). The experimental results show that our proposed approach trained on WIDER FACE Dataset outperforms strong baselines on WIDER FACE Dataset by a large margin, and consistently achieves competitive results on FDDB against the recent state-of-the-art face detection methods.

研究动机与目标

• 为解决在遮挡、光照、姿态和分辨率等方面存在极端变化的非约束环境下，鲁棒人脸检测的长期挑战。
• 通过显式建模周围身体区域的上下文信息，受人类视觉感知启发，提升检测性能。
• 在区域提议和检测阶段均增强多尺度特征学习，以实现对极小和小尺寸人脸的可靠检测。
• 在 WIDER FACE 和 FDDB 等基准数据集上，在真实且具有挑战性的条件下实现最先进性能。

提出的方法

• 网络采用多尺度区域提议网络（MS-RPN），在捕获多尺度特征的同时生成区域候选框，以检测小尺寸和极小尺寸人脸。
• 使用上下文多尺度卷积神经网络（CMS-CNN）对区域提议进行推理，整合高层语义特征与低层定位细节，以提升表征能力。
• 通过扩展 RoI 池化层以包含面部以外的上下文区域，显式引入身体上下文推理，模拟人类视觉推理机制。
• 采用近似联合训练方式训练模型，反向传播过程中忽略关于提议框坐标的梯度，以稳定训练过程。
• 最终检测输出包含置信度分数和边界框回归结果，通过置信度分数阈值对结果进行过滤。
• 在 WIDER FACE 上微调后的同一模型无需重新训练即可在 FDDB 上进行评估，展现出强大的泛化能力。

实验结果

研究问题

• RQ1 显式建模身体上下文是否能提升在非约束环境下的人脸检测鲁棒性？
• RQ2 在区域提议和检测阶段均引入多尺度特征学习，对极小和小尺寸人脸的检测性能有何影响？
• RQ3 上下文推理在多大程度上可减少由模糊或遮挡面部模式引起的误报？
• RQ4 所提出的 CMS-RCNN 与最先进方法相比，在 WIDER FACE 和 FDDB 等多样化基准上的表现如何？

主要发现

• 在 WIDER FACE 数据集上，CMS-RCNN 在所有难度划分（易、中、难）中均显著优于强基线模型。
• 在 WIDER FACE 数据集的“难”划分中，该模型实现了最高的平均精度，表明其对极端变化具有卓越的鲁棒性。
• 在使用于 WIDER FACE 上训练的同一模型评估 FDDB 时，CMS-RCNN 达到极高的召回率，优于大多数已发表方法。
• 对误报的可视化分析表明，大多数误报源于数据集中标注错误，表明模型对数据噪声具有鲁棒性，并能有效泛化到模糊的人脸状模式。
• 消融实验显示，引入身体上下文信息可进一步提升性能，平均精度得到改善。