[论文解读] FaceOcc: A Diverse, High-quality Face Occlusion Dataset for Human Face Extraction

Xiangnan Yin, Liming Chen|arXiv (Cornell University)|Jan 20, 2022

Face recognition and analysis被引用 5

一句话总结

本文提出 FaceOcc，一个大规模、高质量的人脸遮挡数据集，包含来自 CelebA-HQ 和互联网来源的超过 30,000 幅多样化、人工标注的遮挡图像，涵盖太阳镜、口罩、手部和围巾等类型。通过将 FaceOcc 与 CelebAMask-HQ 的属性掩码结合，作者训练了一个基于 U-Net 的简单模型，在人脸分割任务中达到最先进性能，证明了数据质量与多样性比模型复杂度更为关键。

ABSTRACT

Occlusions often occur in face images in the wild, troubling face-related tasks such as landmark detection, 3D reconstruction, and face recognition. It is beneficial to extract face regions from unconstrained face images accurately. However, current face segmentation datasets suffer from small data volumes, few occlusion types, low resolution, and imprecise annotation, limiting the performance of data-driven-based algorithms. This paper proposes a novel face occlusion dataset with manually labeled face occlusions from the CelebA-HQ and the internet. The occlusion types cover sunglasses, spectacles, hands, masks, scarfs, microphones, etc. To the best of our knowledge, it is by far the largest and most comprehensive face occlusion dataset. Combining it with the attribute mask in CelebAMask-HQ, we trained a straightforward face segmentation model but obtained SOTA performance, convincingly demonstrating the effectiveness of the proposed dataset.

研究动机与目标

• 解决当前缺乏高质量、多样化人脸遮挡数据集的问题，该问题限制了在非受限环境下准确提取人脸的能力。
• 通过提供覆盖多种遮挡类型和纹理的全面、精确标注数据集，提升人脸分割性能。
• 证明在人脸提取任务中，数据质量与多样性可超越复杂模型架构的性能优势。
• 构建一个可扩展、可扩展的数据集，支持真实感数据增强，以提升模型泛化能力。

提出的方法

• 在来自 CelebA-HQ 和其他互联网来源的 30,000 幅高分辨率人脸图像上，人工标注各类遮挡（如太阳镜、口罩、手部和围巾）。
• 将遮挡掩码与 CelebAMask-HQ 中已有的属性掩码结合，通过截断减法生成精确的人脸掩码：$M_{\text{face}} = \max(\hat{M}_{\text{face}} - M_{\text{occ}}, 0)$。
• 应用实时数据增强技术，包括空间变换、色彩变换以及遮挡纹理变换，以提升数据多样性与真实性。
• 使用二元交叉熵损失和在线难例挖掘（OHEM）训练一个轻量级 U-Net 模型，其主干网络为 ResNet-18。
• 利用初始模型从 FFHQ 中筛选难分类样本，并将其加入数据集以增强模型鲁棒性。
• 采用 Apple Pencil 和 Magic Eraser 应用进行精确的人工标注，确保高标注质量。

实验结果

研究问题

• RQ1 一个大规模、多样化且精确标注的人脸遮挡数据集是否能显著提升人脸分割性能？
• RQ2 在训练人脸提取模型时，数据质量与多样性是否优于模型架构的复杂性？
• RQ3 在精心筛选的遮挡数据集上训练的简单轻量级模型是否能超越现有最先进方法？
• RQ4 结合遮挡纹理变化的实时数据增强在提升模型泛化能力方面效果如何？

主要发现

• 所提出的 FaceOcc 数据集包含超过 30,000 幅图像，涵盖多样化的人工标注遮挡，是迄今为止最大且最全面的人脸遮挡数据集。
• 在 FaceOcc 和 CelebAMask-HQ 上联合训练的轻量级 U-Net 模型（主干为 ResNet-18）在 COFW 基准测试中达到 93.7% 的 IOU，超越所有先前方法。
• 该模型在全局准确率上达到 98.0%，召回率达到 98.3%，在两项指标上均显著优于先前的最先进方法。
• 尽管输入分辨率较高（$256\times256$），高于 Masi 等人使用的 ($128\times128$)，该模型仍实现了 257 FPS 的高效推理速度。
• 结果证实，高质量、多样化训练数据的影响力超过复杂模型设计，因为该简单模型在无任何架构优化的情况下，仍超越了先前的最先进方法。