[论文解读] Extended Labeled Faces in-the-Wild (ELFW): Augmenting Classes for Face Segmentation

Rafael Redondo, Jaume Gibert|arXiv (Cornell University)|Jun 24, 2020

Face recognition and analysis参考文献 76被引用 7

一句话总结

本文提出了扩展版带标签的野外人脸数据集（ELFW），作为LFW的增强版本，通过人工重新标注和合成数据增强，新增了面部相关语义类别——胡须-山羊胡、太阳镜、头部穿戴物以及合成口罩。该方法在增强类和原始类上均提升了语义分割性能，且模型对纯合成类别（如口罩）具有良好的泛化能力。

ABSTRACT

Existing face datasets often lack sufficient representation of occluding objects, which can hinder recognition, but also supply meaningful information to understand the visual context. In this work, we introduce Extended Labeled Faces in-the-Wild (ELFW), a dataset supplementing with additional face-related categories -- and also additional faces -- the originally released semantic labels in the vastly used Labeled Faces in-the-Wild (LFW) dataset. Additionally, two object-based data augmentation techniques are deployed to synthetically enrich under-represented categories which, in benchmarking experiments, reveal that not only segmenting the augmented categories improves, but also the remaining ones benefit.

研究动机与目标

• 解决原始LFW数据集中缺乏上下文和遮挡物体表征的问题，该问题限制了真实场景下的人脸理解能力。
• 通过添加新标签扩展数据集，提升对胡须、太阳镜和头部穿戴物等代表性不足的面部属性的分割准确率。
• 评估基于物体的数据增强技术在提升增强类与非增强类分割性能方面的有效性。
• 使深度学习模型能够泛化到纯合成类别（如口罩），这些类别在真实世界数据中并不存在。

提出的方法

• 人工重新标注并优化原始LFW的语义图，以纠正皮肤、头发和背景标注中的不一致性。
• 对原始LFW数据集中未标注的额外人脸进行标注，以扩展训练集并提供准确的语义分割标签。
• 通过将真实感的太阳镜、口罩和遮挡手部图像叠加到人脸上来实施合成数据增强，以丰富代表性不足的类别。
• 采用两种增强策略：类别特定增强（如仅太阳镜）和多类别增强（如太阳镜+手部），以评估泛化效果。
• 在扩展后的ELFW数据集上训练最先进分割模型（FCN和DeepLabV3），并使用平均交并比（mIoU）和类别IoU指标评估性能。
• 在真实世界测试图像上开展实地实验，以评估模型泛化能力，特别是对纯合成口罩类别的表现。

实验结果

研究问题

• RQ1 合成数据增强能否有效提升真实世界人脸数据集中代表性不足的面部物体类别的语义分割性能？
• RQ2 对特定类别（如太阳镜、胡须）进行增强，在提升其自身分割性能的同时，是否也能提升原始非增强类别的分割性能？
• RQ3 深度学习模型能否泛化到纯合成类别（如口罩）上，而这些类别在真实训练数据中并不存在？
• RQ4 不同的增强策略（单类别 vs. 多类别）如何影响模型在非受限环境下的泛化能力和鲁棒性？
• RQ5 当面对复杂遮挡（如手部或严重头部旋转）时，分割模型的失败模式是什么？

主要发现

• ELFW数据集通过新增1,000多张带标注的人脸，成功扩展了LFW，引入了五个语义类别：背景、皮肤、头发、胡须-山羊胡、太阳镜、头部穿戴物和合成口罩。
• 在使用多类别增强时，DeepLabV3在平均IoU上获得了更高的提升，其中太阳镜和胡须-山羊胡在各自增强方案下表现出最显著的改进。
• 模型对纯合成口罩类别表现出强大的泛化能力，尽管训练集中没有真实世界样本，仍能实现准确分割。
• 当手部置于典型位置时，遮挡手部被有效分割；但当手部放置在头部或靠近头发区域时，常被误分类为头部穿戴物。
• 严重头部旋转导致跟踪失败和类似幻觉的伪影，尤其影响胡须和面部结构的分割。
• 增强策略不仅提升了增强类别的性能，还在非增强类别上实现了mIoU的持续提升，表明存在积极的迁移学习效应。