[论文解读] MogFace: Rethinking Scale Augmentation on the Face Detector.

Yang Liu, Fei Wang+2 more|arXiv (Cornell University)|Mar 20, 2021

Face recognition and analysis参考文献 21被引用 9

一句话总结

本文提出MogFace，一种选择性尺度增强（Selective Scale Enhancement, SSE）策略，通过在训练数据中联合利用前景/背景上下文信息与尺度信息，提升人脸检测器在极端尺度变化下的鲁棒性。通过优化数据采样中的尺度分布，MogFace在所有主要基准测试中均达到最先进性能，包括在Wider Face数据集上取得六项第一。

ABSTRACT

Face detector frequently confronts extreme scale variance challenge. The famous solutions are Multi-scale training, Data-anchor-sampling and Random crop strategy. In this paper, we indicate 2 significant elements to resolve extreme scale variance problem by investigating the difference among the previous solutions, including the fore-ground and back-ground information of an image and the scale information. However, current excellent solutions can only utilize the former information while neglecting to absorb the latter one effectively. In order to help the detector utilize the scale information efficiently, we analyze the relationship between the detector performance and the scale distribution of the training data. Based on this analysis, we propose a Selective Scale Enhancement (SSE) strategy which can assimilate these two information efficiently and simultaneously. Finally, our method achieves state-of-the-art detection performance on all common face detection benchmarks, including AFW, PASCAL face, FDDB and Wider Face datasets. Note that our result achieves six champions on the Wider Face dataset.

研究动机与目标

• 解决真实应用中人脸检测面临的极端尺度变化挑战。
• 指出尽管现有方法已有效利用前景与背景上下文，但其在训练数据中对尺度信息的利用仍显不足。
• 探究检测器性能与训练样本尺度分布之间的关系。
• 提出一种在训练过程中同时且高效整合前景/背景上下文与尺度信息的方法。
• 在多个标准人脸检测基准测试中实现最先进性能。

提出的方法

• 提出一种选择性尺度增强（SSE）策略，根据尺度分布选择性地采样训练图像，以平衡尺度方差。
• 通过尺度感知采样，从图像中整合前景与背景上下文信息，以提升检测器泛化能力。
• 分析训练数据中尺度分布对检测器性能的影响，以指导采样策略设计。
• 设计一种数据采样机制，优先保留多样化尺度表示，同时保持上下文完整性。
• 使用增强后的尺度均衡数据集训练人脸检测器，以提升在极端尺度变化下的性能。
• 将SSE作为即插即用的增强策略集成至现有人脸检测框架中，无需修改网络架构。

实验结果

研究问题

• RQ1 训练数据的尺度分布在极端尺度变化下如何影响人脸检测器的性能？
• RQ2 与尺度感知数据采样相比，前景与背景上下文在多大程度上能提升检测器鲁棒性？
• RQ3 能否通过统一策略在训练过程中有效结合上下文与尺度信息以提升检测精度？
• RQ4 选择性尺度增强是否能在多样化基准测试中带来一致的性能提升？
• RQ5 在多尺度训练中，尺度感知采样相较于随机裁剪或基于锚框的采样，其贡献如何？

主要发现

• 所提出的SSE策略通过有效整合尺度与上下文信息，显著提升了人脸检测器性能。
• MogFace在所有标准基准测试中均达到最先进水平，包括AFW、PASCAL Face、FDDB和Wider Face。
• 该方法在Wider Face数据集中取得六项第一，证明其在极端尺度变化下的卓越性能。
• 分析结果确认，训练数据中的尺度分布对检测器准确率具有直接且可测量的影响。
• 通过基于尺度的选择性采样，该方法相比标准增强策略，显著减少了对小脸和大脸的性能退化。