[论文解读] Facial Expression Recognition Using Disentangled Adversarial Learning

Kamran Ali, Charles E. Hughes|arXiv (Cornell University)|Sep 28, 2019

Face and Expression Recognition参考文献 27被引用 8

一句话总结

本文提出DE-GAN，一种解耦对抗学习框架，能显式地将面部表情表征从身份和光照因素中分离出来。通过使用带有身份条件解码的编码器-解码器生成器，以及用于表情和身份分类的多任务判别器，该方法学习到解耦且具有判别力的表情特征，在CK+、MMI和Oulu-CASIA数据集上实现了最先进性能，其中在Oulu-CASIA数据集上准确率最高达到89.17%。

ABSTRACT

The representation used for Facial Expression Recognition (FER) usually contain expression information along with other variations such as identity and illumination. In this paper, we propose a novel Disentangled Expression learning-Generative Adversarial Network (DE-GAN) to explicitly disentangle facial expression representation from identity information. In this learning by reconstruction method, facial expression representation is learned by reconstructing an expression image employing an encoder-decoder based generator. This expression representation is disentangled from identity component by explicitly providing the identity code to the decoder part of DE-GAN. The process of expression image reconstruction and disentangled expression representation learning is improved by performing expression and identity classification in the discriminator of DE-GAN. The disentangled facial expression representation is then used for facial expression recognition employing simple classifiers like SVM or MLP. The experiments are performed on publicly available and widely used face expression databases (CK+, MMI, Oulu-CASIA). The experimental results show that the proposed technique produces comparable results with state-of-the-art methods.

研究动机与目标

• 为解决现有FER方法学习到的表征存在身份与表情信息混合的问题，此类混合会损害对未见身份的泛化能力。
• 开发一种生成模型，通过使用不同身份的输入图像重建，学习解耦的面部表情表征。
• 通过基于GAN的框架结合多任务判别器监督，提取解耦特征，以提升面部表情识别性能。
• 通过学习到的解耦表征，实现从源身份到目标身份的表情迁移，从而实现面部表情合成。

提出的方法

• DE-GAN框架采用编码器-解码器生成器架构，其中编码器从输入图像中提取解耦的表情表征。
• 解码器利用与输入图像相同表情但不同身份的图像进行重建，该身份由作为输入提供的身份码指定。
• 生成器通过欺骗一个联合分类真实/虚假图像、身份和面部表情的多任务判别器进行训练。
• 从编码器中提取解耦的表情表征，并用于下游FER任务，结合SVM或MLP等简单分类器。
• 训练策略在后期迭代中更频繁地更新生成器，同时利用表情和身份分类的监督标签。
• 通过在解码时以身份码为条件，同时仅使用编码器输出的表情表征，显式分离表情与身份成分。

实验结果

研究问题

• RQ1 能否利用对抗学习显式地将FER中的面部表情表征从身份和光照因素中解耦？
• RQ2 一个同时分类表情和身份的多任务判别器是否能提升解耦表情表征学习的质量？
• RQ3 通过基于重建的GAN提取的解耦表情特征是否能在标准FER基准上实现最先进性能？
• RQ4 数据完整性（如每个受试者具备完整表情覆盖）如何影响解耦质量与识别准确率？

主要发现

• 在CK+数据集上，DE-GAN在七种表情分类任务中达到97.28%的准确率，显著优于CNN基线模型（90.34%）。
• 在MMI数据集上，DE-GAN在六种表情分类任务中达到72.97%的准确率，显著优于CNN基线模型（58.46%）。
• 在Oulu-CASIA数据集上，DE-GAN在六种表情分类任务中达到89.17%的准确率，由于每个受试者具备完整表情覆盖，其表现成为所有数据集中最强。
• 结果表明，通过DE-GAN学习到的解耦表情特征具有高度判别力，并能良好泛化，尤其当训练数据中每个受试者均包含全部表情时效果更佳。
• 多任务判别器通过联合监督表情与身份分类，显著提升了图像重建质量与解耦效果。
• 该方法可通过生成与输入图像具有相同表情但不同身份的图像，实现面部表情迁移，充分展示了其生成能力。