[论文解读] Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network

Jie Cai, Zibo Meng+5 more|arXiv (Cornell University)|Mar 19, 2019

Emotion and Mood Recognition参考文献 41被引用 38

一句话总结

该论文提出 IF-GAN，一种端到端条件 GAN，将表达信息转移到平均身份以实现身份无关的面部表情识别，在若干 FER 数据集上达到最先进的结果。

ABSTRACT

A novel Identity-Free conditional Generative Adversarial Network (IF-GAN) was proposed for Facial Expression Recognition (FER) to explicitly reduce high inter-subject variations caused by identity-related facial attributes, e.g., age, race, and gender. As part of an end-to-end system, a cGAN was designed to transform a given input facial expression image to an "average" identity face with the same expression as the input. Then, identity-free FER is possible since the generated images have the same synthetic "average" identity and differ only in their displayed expressions. Experiments on four facial expression datasets, one with spontaneous expressions, show that IF-GAN outperforms the baseline CNN and achieves state-of-the-art performance for FER.

研究动机与目标

• 推动在 FER 中减少个体间身份变异（年龄、种族、性别）。
• 提出一个端到端的 IF-GAN，将表达信息转移到一个平均身份。
• 在包括 RAF-DB 的多个数据集上展示改进的 FER 性能。

提出的方法

• 使用基于 U-Net 的生成器将输入图像的表达转移到一个平均身份的人脸。
• 使用 PatchGAN 判别器以保证输出的逼真性和表达一致性。
• 结合用 island loss 训练的 ResNet-101 表情分类器以提高可辨别性。
• 联合训练 G、D 和 E，损失函数结合 cGAN、L1、softmax 与 island loss 项。
• 在测试阶段，只使用 G 和 E 进行身份无关的 FER。

实验结果

研究问题

• RQ1 是否可以通过将任意主体的表情转移到一个平均身份来构建身份无关的 FER 系统？
• RQ2 G、D、E 的端到端训练是否比基线 CNN 提高 FER 性能？
• RQ3 生成器中的自注意力在姿势和光照变化下如何影响表达转移和识别？
• RQ4 所提出的 IF-GAN 是否在自发和摆姿 FER 数据集上均有效？

主要发现

• 带有自注意力的 IF-GAN 在包括 RAF-DB 的四个 FER 数据集上达到最先进的结果。
• 该架构可端到端训练，产出适用于识别的无表情特征人脸表示。
• 表情转移结果在保留表情线索的同时有效地去除了身份信息。
• 自注意力模块捕捉与面部动作单元对齐的长程依赖性，从而提高表情保真度。
• 与基线 CNN 相比，IF-GAN 在摆姿态和自发数据集上的 FER 性能有所提升。