[论文解读] All-In-One: Facial Expression Transfer, Editing and Recognition Using A Single Network

Kamran Ali, Charles E. Hughes|arXiv (Cornell University)|Nov 16, 2019

Face recognition and analysis参考文献 35被引用 7

一句话总结

该论文提出TER-GAN，一种统一的生成对抗网络，通过单一架构联合完成面部表情迁移、编辑与识别。通过使用两个专用编码器，分别从源图像和目标图像中解耦表情与身份特征，并在解码器中将二者结合以实现逼真的图像合成，该方法在无需关键点或动作单元等辅助监督的情况下，在三项任务中均实现了最先进性能。

ABSTRACT

In this paper, we present a unified architecture known as Transfer-Editing and Recognition Generative Adversarial Network (TER-GAN) which can be used: 1. to transfer facial expressions from one identity to another identity, known as Facial Expression Transfer (FET), 2. to transform the expression of a given image to a target expression, while preserving the identity of the image, known as Facial Expression Editing (FEE), and 3. to recognize the facial expression of a face image, known as Facial Expression Recognition (FER). In TER-GAN, we combine the capabilities of generative models to generate synthetic images, while learning important information about the input images during the reconstruction process. More specifically, two encoders are used in TER-GAN to encode identity and expression information from two input images, and a synthetic expression image is generated by the decoder part of TER-GAN. To improve the feature disentanglement and extraction process, we also introduce a novel expression consistency loss and an identity consistency loss which exploit extra expression and identity information from generated images. Experimental results show that the proposed method can be used for efficient facial expression transfer, facial expression editing and facial expression recognition. In order to evaluate the proposed technique and to compare our results with state-of-the-art methods, we have used the Oulu-CASIA dataset for our experiments.

研究动机与目标

• 为解决面部表情迁移与编辑过程中因表情与身份特征未能充分解耦而导致的身份泄露问题。
• 消除在表情合成中对人脸关键点、动作单元或独热编码等辅助监督的需求。
• 实现单一模型同时完成三项相关任务：表情迁移、表情编辑与面部表情识别。
• 通过新颖的一致性损失提升特征解耦效果，利用训练期间的合成图像增强特征质量。
• 证明解耦后的表情表征可直接用于未见身份的鲁棒面部表情识别。

提出的方法

• 模型使用两个独立编码器：$G_{es}$ 用于从源图像中提取表情特征，$G_{et}$ 用于从目标图像中提取身份特征。
• 将编码后的表情与身份特征拼接后输入解码器 $G_{de}$，生成兼具源图像表情与目标图像身份的合成图像。
• 在每个编码器的输出端引入对抗性一致性损失：使用合成图像提升特征质量的表情一致性损失与身份一致性损失。
• 生成器在端到端的GAN框架下进行训练，判别器确保生成图像的真实性。
• 对于面部表情识别任务，将 $G_{es}$ 编码器解耦并使用浅层分类器在Oulu-CASIA数据集上进行微调。
• 采用t-SNE可视化方法定性验证表情特征与身份表征之间的解耦效果。

实验结果

研究问题

• RQ1 单一深度学习架构能否在无需辅助监督的情况下，有效实现面部表情迁移、编辑与识别？
• RQ2 统一模型在不依赖独热编码或动作单元的情况下，能否良好地解耦身份与表情特征？
• RQ3 对抗性一致性损失的使用是否能提升提取的表情与身份表征的质量与解耦程度？
• RQ4 从编码器中提取的解耦表情表征能否在未见身份上有效用于面部表情识别？
• RQ5 在视觉真实感与识别准确率方面，该模型相较于最先进方法表现如何？

主要发现

• TER-GAN在Oulu-CASIA数据集上的面部表情识别任务中达到最先进性能，优于基于GAN与CNN的最先进方法。
• 表情特征的t-SNE可视化显示六个清晰分离的簇，分别对应基本面部表情，证实了其与身份信息的有效解耦。
• 在表情迁移与编辑过程中，该模型成功保留了目标图像的身份特征，相比先前方法显著减少了身份泄露。
• 从 $G_{es}$ 编码器中提取的解耦表情表征在面部表情识别中表现出高准确率，甚至超越使用时序视频信息的方法。
• 利用合成图像与一致性损失显著提升了特征质量，表现为更优的聚类效果与重建保真度。
• 通过避免使用变化正则化技术，降低了计算复杂度，同时仍能生成高质量、无伪影的合成图像。