[论文解读] General Facial Representation Learning in a Visual-Linguistic Manner

Yinglin Zheng, Hao Yang+8 more|arXiv (Cornell University)|Dec 6, 2021

Face recognition and analysis被引用 5

一句话总结

该论文提出 FaRL，一种用于通用面部表征学习的视觉-语言框架，通过大规模人脸专用数据集（LAION-FACE）联合优化对比损失以学习高层语义和掩码图像建模以捕捉低层细节。FaRL 在面部分割和面部对齐任务上达到最先进性能，尤其在低数据设置下显著优于先前的预训练模型。

ABSTRACT

How to learn a universal facial representation that boosts all face analysis tasks? This paper takes one step toward this goal. In this paper, we study the transfer performance of pre-trained models on face analysis tasks and introduce a framework, called FaRL, for general Facial Representation Learning in a visual-linguistic manner. On one hand, the framework involves a contrastive loss to learn high-level semantic meaning from image-text pairs. On the other hand, we propose exploring low-level information simultaneously to further enhance the face representation, by adding a masked image modeling. We perform pre-training on LAION-FACE, a dataset containing large amount of face image-text pairs, and evaluate the representation capability on multiple downstream tasks. We show that FaRL achieves better transfer performance compared with previous pre-trained models. We also verify its superiority in the low-data regime. More importantly, our model surpasses the state-of-the-art methods on face analysis tasks including face parsing and face alignment.

研究动机与目标

• 研究视觉-语言预训练模型在多样化面部分析任务中的迁移能力。
• 通过学习通用面部表征，解决面部分析中标签数据有限的挑战。
• 通过联合建模高层语义和低层图像细节，提升面部表征学习效果。
• 开发一种通用面部表征框架，可快速适应下游任务。
• 与现有预训练模型相比，证明在低数据设置下性能更优。

提出的方法

• 该框架利用成对的面部图像与自然语言描述，通过对比损失学习高层语义表征。
• 借鉴 BEiT 的思想，引入掩码图像建模（MIM）以在预训练过程中捕捉低层视觉细节。
• 预训练在 LAION-FACE 上进行，该数据集是从 LAION-400M 中提取的 2000 万张人脸图像-文本对的精选数据集。
• 主干网络采用 Vision Transformer (ViT) 或 DeiT，下游任务微调时仅微调分类头，特征层保持冻结以进行迁移性能评估。
• 数据增强包括随机旋转、缩放、平移和噪声添加，以提升下游训练的鲁棒性。
• 通过冻结特征提取的方式，在面部分割、面部对齐和属性预测任务上对模型进行评估。

Figure 1 : Image-text pairs randomly sampled from LAION-FACE. Web texts are not always accurate but often easier to acquire.

实验结果

研究问题

• RQ1 在大规模开源图像-文本对上进行视觉-语言预训练，能否提升在面部分析任务上的迁移性能？
• RQ2 同时建模高层语义和低层图像细节是否能增强面部表征学习？
• RQ3 与现有预训练模型相比，FaRL 在低数据设置下的表现如何？
• RQ4 FaRL 是否能在如面部分割和面部对齐等具有挑战性的面部分析基准上超越最先进方法？
• RQ5 经过筛选的 LAION-FACE 数据集是否对学习通用面部表征有效？

主要发现

• FaRL 在面部分割和面部对齐任务上均达到最先进性能，优于现有方法。
• 由于具备稳健的表征学习能力，该模型在少样本迁移任务中表现优异，尤其在低数据设置下优势显著。
• 对比损失与掩码图像建模的联合优化，相比单独使用任一模块，能生成更优的特征表示。
• 在 LAION-FACE（LAION-400M 的 2000 万张图像子集）上进行预训练，其下游性能显著优于 ImageNet 或 CLIP 的预训练。
• 该框架在多种面部分析任务（包括属性预测和对齐）中展现出强大的泛化能力，即使使用冻结特征提取也表现良好。
• 在多种评估设置下，FaRL 超过了 CLIP、MoCo v3 和 BEiT 等强基线模型，证实了其有效性。

Figure 2 : Distribution of #faces in each image in LAION-FACE.