[论文解读] Photorealistic Facial Expression Synthesis by the Conditional Difference Adversarial Autoencoder

Yuqian Zhou, Bertram E. Shi|arXiv (Cornell University)|Aug 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 16

一句话总结

该论文提出了一种新型生成模型——条件差异对抗自编码器（CDAAE），通过学习同一身份不同表情之间低层次特征的差异，从单张输入图像合成逼真的面部表情。该方法在表达迁移过程中实现了卓越的身份保持能力，尤其在小样本数据集上表现优于以往方法，在保真度和身份与表情因子的解耦方面表现更优。

ABSTRACT

Photorealistic facial expression synthesis from single face image can be widely applied to face recognition, data augmentation for emotion recognition or entertainment. This problem is challenging, in part due to a paucity of labeled facial expression data, making it difficult for algorithms to disambiguate changes due to identity and changes due to expression. In this paper, we propose the conditional difference adversarial autoencoder, CDAAE, for facial expression synthesis. The CDAAE takes a facial image of a previously unseen person and generates an image of that human face with a target emotion or facial action unit label. The CDAAE adds a feedforward path to an autoencoder structure connecting low level features at the encoder to features at the corresponding level at the decoder. It handles the problem of disambiguating changes due to identity and changes due to facial expression by learning to generate the difference between low-level features of images of the same person but with different facial expressions. The CDAAE structure can be used to generate novel expressions by combining and interpolating between facial expressions/action units within the training set. Our experimental results demonstrate that the CDAAE can preserve identity information when generating facial expression for unseen subjects more faithfully than previous approaches. This is especially advantageous when training with small databases.

研究动机与目标

• 为解决从单张图像生成逼真面部表情的同时保持身份特征的挑战。
• 在缺乏大规模标注表情数据集的情况下，区分身份特异性特征与表情特异性变化。
• 通过插值和组合学习到的表情差异，实现新型表情的生成。
• 通过显式建模表达变化为特征差异，提升在小规模训练数据库上的性能。
• 利用条件生成模型实现高保真度、身份保持的面部表情合成。

提出的方法

• CDAAE 在每个对应的特征层级引入从编码器到解码器的前馈跳跃连接，实现身份相关特征的直接传播。
• 通过训练自编码器重建人脸图像，同时学习同一人不同表情之间低层次特征的差异。
• 模型使用条件对抗损失，通过区分真实图像与生成图像，实现逼真输出。
• 网络以目标表情或面部动作单元（FAU）标签为条件，实现可控的表情合成。
• 模型仅学习与表情相关的改变，通过聚焦于特征差异而非完整图像重建，从而保持身份特征。
• 在学习到的表情差异之间进行插值，可生成新颖且逼真的中间表情。

实验结果

研究问题

• RQ1 深度生成模型能否在仅输入单张图像的情况下，合成逼真面部表情并保持身份特征？
• RQ2 在训练数据有限的情况下，该模型在多大程度上能有效解耦身份特异性与表情特异性特征？
• RQ3 该模型能否通过插值学习到的表情差异生成新型面部表情？
• RQ4 与标准自编码器相比，条件差异自编码器框架是否在身份保持和表达保真度方面表现更优？
• RQ5 CDAAE 在小样本数据集上的表现是否优于现有面部表情合成方法？

主要发现

• 在为未见受试者生成表情时，CDAAE 在感知质量与身份一致性方面均优于以往方法，实现了更优的身份保持能力。
• 即使在小样本数据集上训练，模型仍能生成逼真面部表情，展现出强大的泛化能力。
• 条件差异学习的使用使得潜在空间中身份与表情因子的解耦更加准确。
• 在学习到的表情差异之间进行插值，可生成训练集中未出现的合理中间表情。
• 条件对抗训练组件显著提升了生成面部图像的真实感。
• 模型的跳跃连接增强了特征保真度，并减少了表达迁移过程中的退化。