[论文解读] A High-Efficiency Framework for Constructing Large-Scale Face Parsing Benchmark

Yinglu Liu, Hailin Shi+4 more|arXiv (Cornell University)|May 13, 2019

Face recognition and analysis参考文献 45被引用 10

一句话总结

本文提出了一种高效框架，利用密集的106个面部关键点引导像素级语义标注，构建大规模人脸分割基准。该方法实现了对22,000张多样化人脸图像的快速、精准标注，共分为11个语义类别，最终形成目前最大的公开人脸分割基准数据集LaPa。所提出的边界感知分割网络（BSPNet）在LaPa和Helen数据集上均达到最先进性能，尤其在细粒度面部区域的分割上表现优异。

ABSTRACT

Face parsing, which is to assign a semantic label to each pixel in face images, has recently attracted increasing interest due to its huge application potentials. Although many face related fields (e.g., face recognition and face detection) have been well studied for many years, the existing datasets for face parsing are still severely limited in terms of the scale and quality, e.g., the widely used Helen dataset only contains 2,330 images. This is mainly because pixel-level annotation is a high cost and time-consuming work, especially for the facial parts without clear boundaries. The lack of accurate annotated datasets becomes a major obstacle in the progress of face parsing task. It is a feasible way to utilize dense facial landmarks to guide the parsing annotation. However, annotating dense landmarks on human face encounters the same issues as the parsing annotation. To overcome the above problems, in this paper, we develop a high-efficiency framework for face parsing annotation, which considerably simplifies and speeds up the parsing annotation by two consecutive modules. Benefit from the proposed framework, we construct a new Dense Landmark Guided Face Parsing (LaPa) benchmark. It consists of 22,000 face images with large variations in expression, pose, occlusion, etc. Each image is provided with accurate annotation of a 11-category pixel-level label map along with coordinates of 106-point landmarks. To the best of our knowledge, it is currently the largest public dataset for face parsing. To make full use of our LaPa dataset with abundant face shape and boundary priors, we propose a simple yet effective Boundary-Sensitive Parsing Network (BSPNet). Our network is taken as a baseline model on the proposed LaPa dataset, and meanwhile, it achieves the state-of-the-art performance on the Helen dataset without resorting to extra face alignment.

研究动机与目标

• 解决因像素级标注成本高昂而导致的大规模、高质量人脸分割数据集严重缺乏的问题。
• 通过利用密集面部关键点作为先验信息，缓解标注瓶颈，提升语义标注效率。
• 构建可扩展的半自动标注流水线，在保持高标注质量的同时显著降低人工工作量。
• 构建一个新的基准数据集LaPa，包含22,000张多样化人脸图像及详细的11类语义标签图。
• 提出边界感知分割网络（BSPNet），提升分割精度，尤其在小尺寸和边界敏感的面部区域表现更优。

提出的方法

• 设计双模块标注框架：首先，使用辅助关键点模型提供粗略的106个关键点，减少标注人员工作量。
• 其次，基于106个关键点，采用类别特定的拟合策略，通过粗到精的分割方法，精确绘制每个面部区域的轮廓，特别针对头发和皮肤区域。
• 将分层输出融合为高保真度的11类像素级语义标签图。
• 引入BSPNet，一种分割网络，通过将边界感知特征融入语义特征，增强边界表征能力。
• 采用边界加权损失函数，显式强化边界像素的学习，提升定位精度。
• 使用LaPa数据集进行训练，并在LaPa和Helen数据集上进行评估，包括通过在LaPa上微调实现的迁移学习。

实验结果

研究问题

• RQ1 基于密集面部关键点引导的半自动标注流程，能否显著降低像素级人脸分割标注的时间与成本？
• RQ2 能否构建一个具备足够姿态、表情和遮挡多样性的大规模、高质量人脸分割基准？
• RQ3 在新构建的LaPa基准上预训练的深度学习模型，能否在无需额外对齐的情况下，在Helen等现有基准上实现最先进性能？
• RQ4 显式边界监督在多大程度上提升了分割精度，特别是在小尺寸面部区域？
• RQ5 在LaPa上进行预训练是否能提升在较小基准（如Helen）上的性能，从而证明该数据集的实用价值？

主要发现

• 所提出的标注框架成功构建了LaPa基准，包含22,000张人脸图像，具有11类语义标签和106个关键点，规模是现有公开数据集的十倍。
• 边界感知分割网络（BSPNet）在Helen数据集上达到91.0%的整体平均交并比（IoU），相比先前最先进方法分别提升10.6%（Smith et al., 2013）、5.1%（Liu et al., 2015）、2.4%（Liu et al., 2017）和0.5%（Guo et al., 2018）。
• 对于上唇、内嘴部和下唇等细粒度类别，BSPNet相较于Guo等（2018）的方法分别提升2.2%、2.5%和3.8%的准确率，表明其在边界处理方面具有显著优势。
• 在Helen数据集上微调LaPa预训练的BSPNet，整体得分进一步提升至91.4%，证明LaPa数据集具有强大的泛化能力和表征能力。
• 在小尺寸类别上，模型取得显著改进：左眉和右眉分别提升+2.55%和+2.66%，左眼和右眼分别提升+3.36%和+3.48%，上唇和下唇分别提升+2.35%和+1.86%（相比基线）。
• 可视化结果表明，BSPNet生成的边界更清晰、更精确，尤其在具有复杂细节的面部结构中表现突出。