[论文解读] Bootstrapping Face Detection with Hard Negative Examples

Shaohua Wan, Zhijun Chen+3 more|arXiv (Cornell University)|Aug 7, 2016

Face recognition and analysis参考文献 14被引用 48

一句话总结

本文提出一种硬负样本挖掘策略，通过迭代地使用从背景区域中提取的难分类负样本重新训练模型，以提升基于 Faster R-CNN 的人脸检测性能。通过在训练过程中加入这些难以检测的负样本，该方法在 FDDB 基准测试上显著提升了性能，优于当前最先进检测器，尤其在结合 ResNet-50 架构时表现更优。

ABSTRACT

Recently significant performance improvement in face detection was made possible by deeply trained convolutional networks. In this report, a novel approach for training state-of-the-art face detector is described. The key is to exploit the idea of hard negative mining and iteratively update the Faster R-CNN based face detector with the hard negatives harvested from a large set of background examples. We demonstrate that our face detector outperforms state-of-the-art detectors on the FDDB dataset, which is the de facto standard for evaluating face detection algorithms.

研究动机与目标

• 为解决人脸检测中严重的类别不平衡问题，即背景区域远多于前景人脸。
• 提升模型在遮挡、姿态变化和低分辨率等挑战性条件下的检测鲁棒性。
• 通过利用硬负样本挖掘，提升基于 Faster R-CNN 的人脸检测器性能，减少误报。
• 证明通过收集的难负样本进行迭代再训练，可在 FDDB 基准测试上带来可测量的性能提升。

提出的方法

• 该方法采用两轮训练流程：首先在标准数据上训练基础 Faster R-CNN 检测器，然后从第一轮模型的误报中提取难负样本。
• 难负样本定义为：与任意真实人脸边界框的 IoU 小于 0.5，但被错误分类为正样本的区域提议。
• 将这些难负样本加入训练集，并在每个小批量中保持 3:1 的背景与前景比例，重新训练模型。
• 为提高效率，采用近似联合优化 RPN 和 Fast R-CNN 的策略，骨干网络使用 ResNet-50。
• 该过程可迭代重复，以逐步提升检测器对困难负样本的拒识能力。

实验结果

研究问题

• RQ1 硬负样本挖掘是否能显著提升 Faster R-CNN 在人脸检测任务中的性能？
• RQ2 使用难负样本进行迭代再训练，对 FDDB 等挑战性基准测试的检测准确率有何影响？
• RQ3 使用更深的网络（如 ResNet-50）是否能放大硬负样本挖掘在人脸检测中的优势？
• RQ4 在复杂成像条件下，硬负样本挖掘在多大程度上能降低误报率？

主要发现

• 所提方法 FRCNN_R50_HNM 在 FDDB 数据集上达到最先进性能，优于 FRCNN_VGG16 和 FRCNN_R50。
• 与标准训练相比，硬负样本挖掘带来显著性能提升，体现在离散和连续 ROC 曲线的改善。
• FRCNN_R50_HNM 显著降低了误报率，尤其在遮挡或低分辨率人脸等困难样本上表现更优。
• 相较于 VGG16，使用更深网络（如 ResNet-50）时，硬负样本挖掘带来的性能增益更加明显。