[论文解读] Learning to Augment Expressions for Few-shot Fine-grained Facial Expression Recognition

Wenxuan Wang, Yanwei Fu+8 more|arXiv (Cornell University)|Jan 17, 2020

Face recognition and analysis参考文献 69被引用 11

一句话总结

本文提出了 F²ED，一个大规模、细粒度的面部表情数据集，包含 54 个类别和 219,719 幅图像，并提出了 Comp-GAN，一种组合式生成对抗网络框架，通过独立控制表情和姿态，生成高质量、身份保持的面部图像。该方法在仅使用每类新颖类别一个训练图像的条件下，显著提升了少样本面部表情识别的准确率，在 ER-FE 设置下达到 44.19% 的平均准确率。

ABSTRACT

Affective computing and cognitive theory are widely used in modern human-computer interaction scenarios. Human faces, as the most prominent and easily accessible features, have attracted great attention from researchers. Since humans have rich emotions and developed musculature, there exist a lot of fine-grained expressions in real-world applications. However, it is extremely time-consuming to collect and annotate a large number of facial images, of which may even require psychologists to correctly categorize them. To the best of our knowledge, the existing expression datasets are only limited to several basic facial expressions, which are not sufficient to support our ambitions in developing successful human-computer interaction systems. To this end, a novel Fine-grained Facial Expression Database - F2ED is contributed in this paper, and it includes more than 200k images with 54 facial expressions from 119 persons. Considering the phenomenon of uneven data distribution and lack of samples is common in real-world scenarios, we further evaluate several tasks of few-shot expression learning by virtue of our F2ED, which are to recognize the facial expressions given only few training instances. These tasks mimic human performance to learn robust and general representation from few examples. To address such few-shot tasks, we propose a unified task-driven framework - Compositional Generative Adversarial Network (Comp-GAN) learning to synthesize facial images and thus augmenting the instances of few-shot expression classes. Extensive experiments are conducted on F2ED and existing facial expression datasets, i.e., JAFFE and FER2013, to validate the efficacy of our F2ED in pre-training facial expression recognition network and the effectiveness of our proposed approach Comp-GAN to improve the performance of few-shot recognition tasks.

研究动机与目标

• 为解决现有面部表情数据集中细粒度和细微表情的稀缺性与多样性不足问题。
• 开发一种少样本学习框架，实现在极少标注训练数据下的鲁棒面部表情识别。
• 生成逼真且身份保持的面部图像，以增强表达类别中代表性不足的样本。
• 在真实世界少样本识别基准上验证所提出数据集与生成框架的有效性。

提出的方法

• 提出 F²ED，一个受控的大规模数据集，包含 54 个细粒度面部表情类别、119 位受试者、4 种姿态，共 219,719 幅图像，并由心理学专家进行标注。
• 设计 Comp-GAN，一种统一的生成对抗网络，包含两个解耦生成器：一个用于编辑面部表情，另一个用于修改姿态。
• 生成器基于参考图像进行条件生成，在保持身份不变的同时独立地改变表情和姿态。
• 采用条件生成对抗网络架构，结合对抗损失、身份一致性损失和感知损失，以确保图像的真实感与身份一致性。
• 端到端训练模型，以合成多样化、高保真度的图像，用于少样本学习场景下的数据增强。
• 在现有数据集（FER2013 和 JAFFE）上微调预训练模型，以展示其迁移能力与泛化性能。

实验结果

研究问题

• RQ1 一个包含 54 个类别的大规模、细粒度面部表情数据集是否能显著提升面部表情识别数据集的多样性与真实感？
• RQ2 Comp-GAN 在生成逼真面部图像方面效果如何，能否在改变表情和姿态的同时有效保持身份特征？
• RQ3 通过 Comp-GAN 进行数据增强在多大程度上提升了少样本面部表情识别的性能？
• RQ4 在 F²ED 上进行预训练是否能提升在 FER2013 和 JAFFE 等现有基准数据集上的迁移性能？
• RQ5 表情与姿态的解耦生成在多大程度上促进了少样本识别模型的泛化能力与鲁棒性？

主要发现

• 在仅每类一个训练图像的 ER-FE 少样本设置下，Comp-GAN 达到 44.19% 的平均准确率，比基线模型 LightCNN 提高 5.25 个百分点。
• 同时生成姿态与表情（LightCNN + G(Pose) + G(Exp)）的组合性能最佳，相比仅使用 LightCNN 提升 4.95%。
• 每类生成 10 张图像可使准确率达到 44.19%，当生成图像增至 1000 张时，k=5 条件下准确率进一步提升至 57.14%，显示出良好的可扩展性。
• t-SNE 可视化结果表明，生成图像与同一个人原始图像聚类接近，证实了身份保持的有效性。
• 在 F²ED 上预训练的模型在 FER2013 和 JAFFE 上表现出良好的泛化能力，证明了该数据集在预训练中的价值。
• 与之相当的 GAN 方法 AttGAN 在相同设置下仅达到 40.14% 的准确率，进一步验证了 Comp-GAN 的优越性。