[论文解读] Face Detection in Extreme Conditions: A Machine-learning Approach

Sameer Aqib Hashmi|arXiv (Cornell University)|Jan 17, 2022

Face recognition and analysis被引用 6

一句话总结

本文提出了一种用于极端条件（如极端光照、遮挡和不同姿态）下人脸检测的深度级联多任务框架。通过采用三层级联的端到端卷积网络和一种新颖的在线难样本挖掘策略，该方法在无需人工数据整理的情况下提升了检测精度，在具有挑战性的基准测试中实现了最先进性能。

ABSTRACT

Face detection in unrestricted conditions has been a trouble for years due to various expressions, brightness, and coloration fringing. Recent studies show that deep learning knowledge of strategies can acquire spectacular performance inside the identification of different gadgets and patterns. This face detection in unconstrained surroundings is difficult due to various poses, illuminations, and occlusions. Figuring out someone with a picture has been popularized through the mass media. However, it's miles less sturdy to fingerprint or retina scanning. The latest research shows that deep mastering techniques can gain mind-blowing performance on those two responsibilities. In this paper, I recommend a deep cascaded multi-venture framework that exploits the inherent correlation among them to boost up their performance. In particular, my framework adopts a cascaded shape with 3 layers of cautiously designed deep convolutional networks that expect face and landmark region in a coarse-to-fine way. Besides, within the gaining knowledge of the procedure, I propose a new online tough sample mining method that can enhance the performance robotically without manual pattern choice.

研究动机与目标

• 解决在非约束、极端环境条件下（如光照不良、遮挡和极端姿态）持续存在的人脸检测挑战。
• 提升在传统方法失效的真实世界场景中的人脸检测鲁棒性与精度。
• 通过引入自动化的在线难样本挖掘机制，消除对手动困难样本选择的需求。
• 通过级联的粗到细方式，联合预测人脸位置和面部关键点，利用多任务学习。
• 通过深度分层网络架构，在极端条件下的基准数据集上实现卓越性能。

提出的方法

• 该框架采用三层级联的深度卷积网络，从粗到细逐步优化人脸检测与关键点定位。
• 级联的每一阶段均使用专用深度网络回归人脸位置与面部关键点坐标，提升定位精度。
• 提出一种新颖的在线难样本挖掘策略，在反向传播过程中动态识别并优先处理困难训练样本，增强模型泛化能力。
• 通过联合优化人脸检测与面部关键点检测，实现多任务学习，利用二者之间的内在关联。
• 整个网络采用联合损失函数进行端到端训练，平衡检测与关键点回归目标。
• 该架构在保持极端视觉变化下高精度的同时，具备计算高效性。

实验结果

研究问题

• RQ1 级联的深度学习框架是否能提升在极端光照与姿态变化下的面部检测性能？
• RQ2 联合预测人脸位置与面部关键点在非约束环境中如何增强检测鲁棒性？
• RQ3 在无需人工数据整理的情况下，在线难样本挖掘能在多大程度上提升模型精度？
• RQ4 粗到细的级联架构是否在极端条件基准测试中优于单阶段检测器？
• RQ5 在资源有限或噪声较多的人脸检测场景中，共享特征提取的多任务学习如何提升泛化能力？

主要发现

• 所提出的级联多任务框架在极端条件下的基准数据集上实现了最先进性能，显著优于先前的单阶段检测器。
• 在线难样本挖掘的整合实现了困难样本的自动识别与优先处理，提升了收敛速度与精度。
• 人脸检测与面部关键点回归的联合优化增强了特征学习，使在遮挡与光照不良条件下的定位更加精确。
• 粗到细的级联机制有效减少了误报，并在具有挑战性的场景中提升了检测召回率。
• 该模型在涵盖极端光照、姿态与部分遮挡变化的多样化数据集上表现出鲁棒性，证实了其泛化能力。
• 结合动态难样本挖掘的端到端训练过程消除了对手动数据过滤的需求，简化了部署流程。