[论文解读] EasyPortrait -- Face Parsing and Portrait Segmentation Dataset

Karina Kvanchiani, Petrova, Elizaveta+3 more|arXiv (Cornell University)|Apr 26, 2023

Face recognition and analysis被引用 4

一句话总结

本文提出了 EasyPortrait，一个大规模、高质量的室内人像图像数据集，包含 20,000 幅图像，以及针对面部解析和人像分割的细粒度 9 类语义分割掩码。该数据集通过众包方式创建，并经专家验证标注，将牙齿和胡须从皮肤类别中排除，从而支持精确的应用，如皮肤增强和牙齿美白，并在仅需极少训练成本的情况下，使多个模型在 mIoU 指标上达到最先进水平。

ABSTRACT

Recently, video conferencing apps have become functional by accomplishing such computer vision-based features as real-time background removal and face beautification. Limited variability in existing portrait segmentation and face parsing datasets, including head poses, ethnicity, scenes, and occlusions specific to video conferencing, motivated us to create a new dataset, EasyPortrait, for these tasks simultaneously. It contains 40,000 primarily indoor photos repeating video meeting scenarios with 13,705 unique users and fine-grained segmentation masks separated into 9 classes. Inappropriate annotation masks from other datasets caused a revision of annotator guidelines, resulting in EasyPortrait's ability to process cases, such as teeth whitening and skin smoothing. The pipeline for data mining and high-quality mask annotation via crowdsourcing is also proposed in this paper. In the ablation study experiments, we proved the importance of data quantity and diversity in head poses in our dataset for the effective learning of the model. The cross-dataset evaluation experiments confirmed the best domain generalization ability among portrait segmentation datasets. Moreover, we demonstrate the simplicity of training segmentation models on EasyPortrait without extra training tricks. The proposed dataset and trained models are publicly available.

研究动机与目标

• 解决在视频会议应用中训练轻量化、实时模型时，缺乏多样化、高质量、真实世界人像数据集的问题。
• 克服现有数据集中胡须、牙齿和眼镜被错误地包含在皮肤或嘴部掩码中的局限性。
• 通过众包方式并辅以专家验证，提供一个干净、人工标注的数据集，以确保标签质量与透明度。
• 通过将关键面部组件划分为独立类别，实现对牙齿美白、皮肤平滑和红眼消除等精确面部增强任务的支持。
• 在不使用复杂数据增强或自监督预训练的情况下，利用标准架构实现快速、高性能的模型训练。

提出的方法

• 通过两个众包平台从 8,377 个独立用户处收集了 20,000 幅图像，主要场景为家庭、办公室等室内环境，使用智能手机或笔记本电脑拍摄。
• 生成 9 类语义分割掩码：背景、人物、面部皮肤、左/右眉毛、左/右眼、嘴唇和牙齿，严格遵循标注规则，将胡须和鼻孔排除在皮肤类别之外。
• 采用两阶段标注流程：首先由众包工作者进行初步标注，随后由专家进行验证，以确保分割掩码的高质量与一致性。
• 使用标准数据增强技术，包括图像填充、缩放至 1024×1024、光照畸变（亮度、对比度、饱和度、色调）以及归一化。
• 在 MMSegmentation 框架下，使用固定超参数和 AdamW 优化器，对多个最先进分割模型（如 SegFormer、FPN、BiSeNet-V2）在该数据集上进行训练。
• 使用所有类别上的平均交并比（mIoU）评估模型性能，未进行任何特定数据的微调或训练技巧。

Figure 1: The face parsing and portrait segmentation annotation examples from the EasyPortrait dataset.

实验结果

研究问题

• RQ1 一个大规模、真实世界的人像数据集，若配备细粒度、经专家验证的分割掩码，是否能在无需合成数据或自监督预训练的情况下，提升面部解析与人像分割任务的性能？
• RQ2 将牙齿和胡须从皮肤类别中排除，对牙齿美白和皮肤增强等下游任务性能有何影响？
• RQ3 在仅包含 20,000 幅图像且无复杂数据增强的情况下，标准深度学习模型在真实世界人像数据集上能达到多高的 mIoU 分数？
• RQ4 结合专家验证的众包流程能否生成足够高质量与多样性的数据集，以支持实时视频应用中模型的稳健泛化？
• RQ5 不同主干网络架构（如 ResNet-50、MobileNet-V2、SegFormer-B5）在具有多样化遮挡与面部特征的数据集上的表现如何？

主要发现

• 在 1024×1024 图像块上微调的 FPN + ResNet-50 模型在 EasyPortrait 数据集上取得了 84.08 的最高 mIoU 分数，表明其在极简架构下仍具备强大性能。
• SegFormer-B5 在输入为 1024×1024 时达到 84.94 的 mIoU，表明高效 Transformer 模型在数据有限的情况下也能实现高精度的人像分割。
• 即使是轻量化模型如 FCN + MobileNet-V2（1024），在关键类别上也取得了超过 70 的 mIoU 分数，例如眼睛（70.81）和嘴唇（69.99），表明其在小型模型上具备出色的泛化能力。
• BiSeNet-V2 模型在完整数据集上达到 78.39 的 mIoU，表明当在高质量、多样化数据上训练时，轻量化架构也能表现良好。
• 该数据集的设计——将牙齿单独分类且将胡须排除在皮肤类别之外——使得面部增强任务（如牙齿美白和皮肤平滑）得以精确建模，而这些在标准数据集中难以实现。
• 所有在 EasyPortrait 上训练的模型仅用 20,000 次迭代，即在面部皮肤和人物类别上达到 mIoU >95，证明了该数据集在实现快速、高精度训练方面的适用性。

Figure 2: Visual comparison of existing face parsing datasets. Only Face Synthetics and EasyPortrait datasets can be used to solve background removal and face enhancement problems. None of them except the last one can be used in the teeth whitening task. We are not including LFW-PL and FaceOcc datas