[论文解读] Adversarial Occlusion-aware Face Detection

Yujia Chen, Lingxiao Song+1 more|arXiv (Cornell University)|Sep 15, 2017

Face recognition and analysis参考文献 47被引用 4

一句话总结

本文提出了一种新型的人脸检测框架——对抗性遮挡感知人脸检测（AOFD），通过对抗性训练联合检测被遮挡的人脸并分割遮挡区域。通过生成逼真的遮挡模式并利用分割作为辅助任务，AOFD在严重遮挡的人脸上提升了检测准确率，在MAFA数据集上IoU阈值为0.45时达到93.8%的AP，且在FDDB上表现优异。

ABSTRACT

Occluded face detection is a challenging detection task due to the large appearance variations incurred by various real-world occlusions. This paper introduces an Adversarial Occlusion-aware Face Detector (AOFD) by simultaneously detecting occluded faces and segmenting occluded areas. Specifically, we employ an adversarial training strategy to generate occlusion-like face features that are difficult for a face detector to recognize. Occlusion mask is predicted simultaneously while detecting occluded faces and the occluded area is utilized as an auxiliary instead of being regarded as a hindrance. Moreover, the supervisory signals from the segmentation branch will reversely affect the features, aiding in detecting heavily-occluded faces accordingly. Consequently, AOFD is able to find the faces with few exposed facial landmarks with very high confidences and keeps high detection accuracy even for masked faces. Extensive experiments demonstrate that AOFD not only significantly outperforms state-of-the-art methods on the MAFA occluded face detection dataset, but also achieves competitive detection accuracy on benchmark dataset for general face detection such as FDDB.

研究动机与目标

• 解决人脸检测中真实世界遮挡人脸训练数据有限的挑战。
• 提升对严重遮挡人脸（尤其是常见于现实场景中的口罩人脸）的检测性能。
• 克服传统方法将遮挡视为噪声或障碍物的局限性。
• 探索将遮挡分割作为辅助任务以增强人脸检测特征学习的有效性。
• 开发一种鲁棒的端到端框架，联合优化人脸检测与遮挡感知表征学习。

提出的方法

• 使用掩码生成网络在区域建议（RoIs）上合成逼真的遮挡模式，模拟口罩、太阳镜等多样化的现实遮挡。
• 引入一种紧凑的约束损失 $L_c$，确保生成的掩码在空间上具有一致性且合理，避免稀疏或不真实的遮挡模式。
• 实施多任务学习框架，联合训练人脸检测与遮挡分割任务，利用分割提供监督信号以改善特征学习。
• 采用对抗性训练生成难负样本（遮挡人脸），以挑战检测器，提升模型鲁棒性。
• 利用分割分支预测遮挡区域，将其视为信息性特征而非噪声，从而提升对部分可见人脸的检测置信度。
• 通过检测损失、分割损失与紧凑约束的组合，实现端到端优化，以增强泛化能力与特征表征能力。

实验结果

研究问题

• RQ1 对抗性生成遮挡模式是否能有效增强遮挡人脸检测的训练数据，而无需依赖真实世界标注的遮挡图像？
• RQ2 联合训练遮挡区域分割分支是否能提升人脸检测性能，尤其是在严重遮挡的人脸上？
• RQ3 生成遮挡的空间范围与真实感如何影响检测准确率与模型鲁棒性？
• RQ4 遮挡区域的分割能否作为有意义的辅助任务，以增强低数据场景下的特征学习？
• RQ5 与传统数据增强和在线难例挖掘（OHEM）相比，所提方法在性能与训练稳定性方面表现如何？

主要发现

• 当IoU阈值降低至0.45时，AOFD在MAFA数据集上达到93.8%的平均精度，表明即使在极具挑战性的部分可见人脸场景下仍具备高检测准确率。
• 当RoIs上的遮挡面积为1/3时，AOFD性能达到最优，过小或过大的遮挡面积均会降低检测准确率。
• 紧凑约束 $L_c$ 显著提升了掩码的真实性，应用后平均精度从0.785提升至0.799，证明其在生成合理遮挡中的关键作用。
• 移除分割分支后，FDDB在1000个误报下的召回率从97.88%下降至97.13%，证实其对特征学习与检测鲁棒性的积极影响。
• 将AOFD与在线难例挖掘（OHEM）结合后，在MAFA上达到81.3%的AP，在FDDB上实现97.88%的召回率，优于各自独立组件，表明二者具有互补优势。
• 掩码生成器贡献显著：移除后，MAFA的AP下降3.2%，FDDB的召回率下降1.3%，凸显其在提升遮挡人脸检测置信度方面的作用。