[论文解读] Face Detection using Deep Learning: An Improved Faster RCNN Approach

Xudong Sun, Pengcheng Wu+1 more|arXiv (Cornell University)|Jan 28, 2017

Face recognition and analysis参考文献 27被引用 27

一句话总结

本文通过整合特征拼接、困难负样本挖掘、多尺度训练以及优化的锚框配置，提出了一种改进的 Faster R-CNN 框架用于人脸检测。该方法在 FDDB 基准测试中实现了最先进（SOTA）的性能，其受试者工作特征曲线下面积（ROC AUC）优于所有先前发表的方法。

ABSTRACT

In this report, we present a new face detection scheme using deep learning and achieve the state-of-the-art detection performance on the well-known FDDB face detetion benchmark evaluation. In particular, we improve the state-of-the-art faster RCNN framework by combining a number of strategies, including feature concatenation, hard negative mining, multi-scale training, model pretraining, and proper calibration of key parameters. As a consequence, the proposed scheme obtained the state-of-the-art face detection performance, making it the best model in terms of ROC curves among all the published methods on the FDDB benchmark.

研究动机与目标

• 通过利用深度学习来解决传统手工设计特征方法在人脸检测中的局限性。
• 专门针对人脸检测这一特定目标检测任务，提升 Faster R-CNN 框架的性能。
• 提升在遮挡、小尺寸或非正面人脸等困难情况下的检测性能。
• 在 FDDB 基准测试上实现最先进结果，该基准是人脸检测的标准评估数据集。
• 验证多种工程策略在提升人脸检测准确率方面的有效性。

提出的方法

• 所提出的方法通过从多个卷积层拼接特征，扩展了 Faster R-CNN，以增强多尺度特征表示能力。
• 在训练过程中应用困难负样本挖掘，通过聚焦于难分的负样本以减少误报。
• 通过在数据增强过程中对输入图像进行随机缩放，实现多尺度训练，以提高对尺度变化的鲁棒性。
• 通过增加一个 $64 \times 64$ 尺寸的锚框组，修改区域建议网络（RPN）中的锚框配置，将锚框数量从 9 增加到 12，以更好地检测小尺寸人脸。
• 在更大的、更具挑战性的 WIDER FACE 数据集上进行预训练，以提升在 FDDB 上微调前的泛化能力。
• 通过消融研究评估每种策略在检测性能上的独立贡献及其组合效果。

实验结果

研究问题

• RQ1 在深度学习框架中，特征拼接和多尺度训练如何影响人脸检测性能？
• RQ2 困难负样本挖掘在多大程度上减少了人脸检测模型中的误报？
• RQ3 在更大、更丰富的数据集（如 WIDER FACE）上进行预训练，是否能提升在较小的 FDDB 基准上的泛化能力？
• RQ4 修改 RPN 中的锚框尺寸对检测小尺寸或遮挡人脸有何影响？
• RQ5 在 FDDB 基准上，哪种技术组合能实现最佳的整体检测性能？

主要发现

• 所提出的方法在 FDDB 基准测试中取得了最高的受试者工作特征曲线下面积（AUC），优于所有先前发表的方法。
• 消融研究显示，将所有策略（锚框修改、预训练、困难负样本挖掘、特征拼接和多尺度训练）结合使用时性能最佳（ID 7）。
• 将锚框数量增加到 12 并引入 $64 \times 64$ 尺寸组，相比默认的 9 锚框配置，显著提升了对小尺寸人脸的检测能力。
• 在 WIDER FACE 上进行预训练提升了召回率，但同时也增加了误报，而困难负样本挖掘有效缓解了这一问题。
• 特征拼接通过实现多层次特征学习显著提升了模型性能，如消融研究所示（ID 2 与 ID 3 对比）。
• 多尺度训练进一步提升了检测精度，尤其在模糊、遮挡和极端姿态等困难样本上表现更优。