[论文解读] Facial Action Unit Detection and Intensity Estimation from Self-supervised Representation

Bowen Ma, An RuDong+7 more|arXiv (Cornell University)|Oct 28, 2022

Emotion and Mood Recognition被引用 6

一句话总结

该论文提出 MAE-Face，一种通过在大规模无标注人脸图像上进行掩码自编码预训练的自监督面部表征模型。在 AU 数据集上微调 MAE-Face 可在面部动作单元检测与强度估计任务中取得最先进性能，即使仅使用 1% 的训练数据，也展现出强大的泛化能力与对数据稀缺的鲁棒性。

ABSTRACT

As a fine-grained and local expression behavior measurement, facial action unit (FAU) analysis (e.g., detection and intensity estimation) has been documented for its time-consuming, labor-intensive, and error-prone annotation. Thus a long-standing challenge of FAU analysis arises from the data scarcity of manual annotations, limiting the generalization ability of trained models to a large extent. Amounts of previous works have made efforts to alleviate this issue via semi/weakly supervised methods and extra auxiliary information. However, these methods still require domain knowledge and have not yet avoided the high dependency on data annotation. This paper introduces a robust facial representation model MAE-Face for AU analysis. Using masked autoencoding as the self-supervised pre-training approach, MAE-Face first learns a high-capacity model from a feasible collection of face images without additional data annotations. Then after being fine-tuned on AU datasets, MAE-Face exhibits convincing performance for both AU detection and AU intensity estimation, achieving a new state-of-the-art on nearly all the evaluation results. Further investigation shows that MAE-Face achieves decent performance even when fine-tuned on only 1\% of the AU training set, strongly proving its robustness and generalization performance.

研究动机与目标

• 为解决面部动作单元（AU）分析中数据稀缺与标注负担的问题，后者耗时且需要领域专业知识。
• 通过利用自监督表征学习，减少对昂贵且需专家标注的 AU 数据集的依赖。
• 开发一种专为 AU 相关任务量身定制的稳健、可泛化的面部表征模型。
• 评估自监督预训练在多个基准数据集上对 AU 检测与强度估计任务的有效性。
• 研究模型在极端数据稀缺情况下的表现，例如仅在训练集的 1% 上进行微调。

提出的方法

• 在大规模无标注人脸图像集合上，使用掩码自编码（MAE）预训练基于视觉变换器的模型。
• 对图像块应用高比例掩码，并使用基于变换器的自编码器重建原始像素。
• 在预训练过程中使用 L1 损失进行像素重建，该方法被证明相比 L2 损失能更好地恢复面部表情细节。
• 在预训练期间应用逐块归一化，以提升训练稳定性与表征质量。
• 使用标准监督学习在 AU 检测与强度估计任务上微调预训练的 MAE-Face 模型。
• 通过细致的学习率调度优化微调过程，以最大化在下游 AU 基准上的性能。

Figure 1: Reconstructed samples of our pre-trained MAE-Face on BP4D images. We show the 90% masked image (left), our reconstruction (middle), and the original image (right). We observe that MAE-Face can reconstruct missing expression details corresponding to action units.

实验结果

研究问题

• RQ1 一个自监督预训练的面部表征模型是否能在不依赖标注 AU 数据的情况下，实现面部动作单元检测与强度估计的最先进性能？
• RQ2 当在极小的训练数据子集（如 1% 的样本）上进行微调时，MAE-Face 的泛化能力如何？
• RQ3 与 L2 损失相比，预训练期间使用 L1 损失是否能带来更优的面部表情重建与下游性能？
• RQ4 与在通用图像数据集（如 ImageNet-1k）上预训练相比，在专用人脸图像集合上预训练对 AU 分析任务有何优势？
• RQ5 推理期间的人脸对齐在多大程度上影响 MAE-Face 的性能？该模型是否能在无对齐条件下实现良好泛化？

主要发现

• MAE-Face 在三个基准数据集（BP4D、BP4D+ 和 DISFA）上，对 AU 检测与强度估计均达到新的最先进性能。
• 即使在仅使用 1% 训练数据的情况下进行微调，MAE-Face 仍保持强劲性能，退化程度极低，展现出卓越的数据效率与泛化能力。
• 与 L2 损失相比，预训练期间使用 L1 损失能更准确地重建面部表情，尤其在嘴部等区域表现更优。
• 在预训练期间应用逐块归一化可进一步提升性能，证实其在稳定训练与提升表征质量方面的重要作用。
• MAE-Face 显著优于从零开始训练与在 ImageNet-1k 上预训练的模型，证明了在人脸图像上进行领域特定预训练的优势。
• 即使在无面部对齐或大量超参数调优的情况下，MAE-Face 在大多数评估指标上仍超越了以往最先进方法。

Figure 2: The schematic pipeline of the proposed framework. It consists of two stages: the Pre-training Stage and the Fine-tuning Stage. The model learns facial representations from self-supervised pre-training for facial action unit detection and intensity estimation.