[论文解读] Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers

Jia Li, Jiantao Nie+3 more|arXiv (Cornell University)|Jul 22, 2022

Emotion and Mood Recognition被引用 4

一句话总结

该论文提出PF-ViT，一种基于视觉Transformer的模型，通过生成扑克脸（无表情脸）来分离情绪与面部表情，且无需成对数据。通过掩码自编码预训练和对抗性学习，PF-ViT在四个野外FER基准上实现最先进性能，准确率分别为92.07%（RAF-DB）、67.23%（AffectNet-7）、64.10%（AffectNet-8）和91.16%（FERPlus）。

ABSTRACT

Representation learning and feature disentanglement have garnered significant research interest in the field of facial expression recognition (FER). The inherent ambiguity of emotion labels poses challenges for conventional supervised representation learning methods. Moreover, directly learning the mapping from a facial expression image to an emotion label lacks explicit supervision signals for capturing fine-grained facial features. In this paper, we propose a novel FER model, named Poker Face Vision Transformer or PF-ViT, to address these challenges. PF-ViT aims to separate and recognize the disturbance-agnostic emotion from a static facial image via generating its corresponding poker face, without the need for paired images. Inspired by the Facial Action Coding System, we regard an expressive face as the combined result of a set of facial muscle movements on one's poker face (i.e., an emotionless face). PF-ViT utilizes vanilla Vision Transformers, and its components are firstly pre-trained as Masked Autoencoders on a large facial expression dataset without emotion labels, yielding excellent representations. Subsequently, we train PF-ViT using a GAN framework. During training, the auxiliary task of poke face generation promotes the disentanglement between emotional and emotion-irrelevant components, guiding the FER model to holistically capture discriminative facial details. Quantitative and qualitative results demonstrate the effectiveness of our method, surpassing the state-of-the-art methods on four popular FER datasets.

研究动机与目标

• 通过将情绪与无关的面部变化解耦，解决面部表情识别（FER）数据集中存在的模糊性和噪声问题。
• 克服监督式FER方法在缺乏面部细节显式监督的情况下对身份、姿态和光照敏感的局限性。
• 通过利用掩码自编码器的自监督预训练，仅使用未标注的面部图像实现端到端的情绪表征学习。
• 构建一个统一框架，同时执行情绪分类和逼真的扑克脸生成，提升模型的鲁棒性和解耦能力。
• 证明原始视觉Transformer在无需大规模预训练数据或混合架构的情况下也能实现SOTA FER性能。

提出的方法

• 在大规模未标注的面部表情数据集上预训练一个视觉Transformer作为掩码自编码器（MAE），以学习强大且可泛化的表征。
• 设计一种新型架构PF-ViT，包含编码器、标记分离器、生成器、判别器和分类头。
• 使用编码器将面部图像映射到潜在表征，再由分离器将其分解为与情绪相关的成分和正交的、与情绪无关的残差成分。
• 通过对抗训练，使用判别器训练生成器以重建原始表情脸，并从与情绪无关的成分中合成逼真的扑克脸。
• 通过对抗损失联合训练生成器与判别器，并与编码器端到端联合优化，实现在无成对数据情况下的高保真扑克脸合成。
• 通过仅使用情绪成分作为输入，对整个模型进行微调，以识别离散情绪类别。

实验结果

研究问题

• RQ1 原始视觉Transformer是否能在无需大规模预训练数据或混合架构的情况下实现面部表情识别的SOTA性能？
• RQ2 能否通过自监督表征学习与对抗生成，在潜在空间中有效解耦情绪与非情绪面部成分？
• RQ3 将扑克脸（无表情脸）作为解耦表征是否能提升面部表情识别的鲁棒性与准确性？
• RQ4 所提方法是否能在包含未配对图像、身份差异和噪声标签的野外数据集上泛化，且无需成对训练数据？
• RQ5 预训练期间的掩码比率如何影响最终FER模型的性能以及生成扑克脸的质量？

主要发现

• PF-ViT在RAF-DB数据集上达到92.07%的新SOTA准确率，超越先前方法。
• 在AffectNet-7上，模型取得67.23%的准确率，优于现有SOTA方法。
• 在AffectNet-8上，模型获得64.10%的准确率，表明其在更具挑战性、噪声更大的数据集上仍具强大性能。
• 在FERPlus数据集上，PF-ViT实现91.16%的准确率，证实其在多样化基准上的鲁棒性。
• 消融实验表明，训练期间更高的掩码比率会降低FER性能，最佳准确率在训练时掩码比率为0.5、推理时为0时达到。
• 推理阶段可移除生成器与判别器组件，对最终分类任务不增加任何计算开销。