[论文解读] Explicit Facial Expression Transfer via Fine-Grained Semantic Representations.

Zhiwen Shao, Hengliang Zhu+3 more|arXiv (Cornell University)|Sep 6, 2019

Face recognition and analysis参考文献 41被引用 6

一句话总结

该论文提出了一种新颖的面部表情迁移方法，通过直接映射未配对的源图像和目标图像到具有交换表情的合成图像，绕过了不准确的中间预测。通过一种新颖的对抗性训练方案解耦与AU相关的特征和无AU的特征，并强制执行交换一致性，该方法在不同身份、姿态和人口统计特征下实现了逼真的、细粒度的面部表情迁移。

ABSTRACT

Facial expression transfer between two unpaired images is a challenging problem, as fine-grained expressions are typically tangled with other facial attributes such as identity and pose. Most existing methods treat expression transfer as an application of expression manipulation, and use predicted facial expressions, landmarks or action units (AUs) of a source image to guide the expression edit of a target image. However, the prediction of expressions, landmarks and especially AUs may be inaccurate, which limits the accuracy of transferring fine-grained expressions. Instead of using an intermediate estimated guidance, we propose to explicitly transfer expressions by directly mapping two unpaired images to two synthesized images with swapped expressions. Since each AU semantically describes local expression details, we can synthesize new images with preserved identities and swapped expressions by combining AU-free features with swapped AU-related features. To disentangle the images into AU-related features and AU-free features, we propose a novel adversarial training method which can solve the adversarial learning of multi-class classification problems. Moreover, to obtain reliable expression transfer results of the unpaired input, we introduce a swap consistency loss to make the synthesized images and self-reconstructed images indistinguishable. Extensive experiments on RaFD, MMI and CFD datasets show that our approach can generate photo-realistic expression transfer results between unpaired images with different expression appearances including genders, ages, races and poses.

研究动机与目标

• 解决在表达与身份、姿态及其他属性纠缠的情况下，将细粒度面部表情在未配对图像之间进行迁移的挑战。
• 克服由于中间引导（如预测的关键点、动作单元（AUs）或表情）不准确而限制迁移质量的问题。
• 通过合成具有交换表情的图像并保留身份和姿态，实现直接的表情迁移。
• 开发一种鲁棒方法，以无需依赖预测AU的方式解耦与AU相关的特征和无AU的特征。
• 通过合成图像与自重建图像之间的交换一致性损失，确保表情迁移的一致性与真实性。

提出的方法

• 提出一种新颖的对抗性训练方法，用于解决面部图像中与AU相关的特征和无AU特征的解耦问题，以应对多分类分类任务。
• 以无AU特征作为基础表示，将源图像和目标图像之间的AU相关特征进行交换，以合成具有迁移表情的新图像。
• 引入一种交换一致性损失，强制使合成图像与其自重建版本无法区分，从而提升保真度和一致性。
• 采用一种生成模型，将未配对的源图像和目标图像映射为两张具有交换表情的合成图像，输入为解耦后的特征。
• 利用动作单元（AUs）的语义表征，在图像合成过程中显式控制局部表情细节。
• 设计了一种循环一致性训练目标，使模型能够从合成输出中重建原始图像，从而增强鲁棒性。

实验结果

研究问题

• RQ1 是否可以实现不依赖预测面部关键点或动作单元的显式表情迁移，从而避免来自中间回归的误差传播？
• RQ2 在未配对图像到图像翻译的对抗性学习框架中，AU相关特征与无AU特征的解耦效果如何？
• RQ3 在未配对设置下，强制执行交换一致性在多大程度上提升了表情迁移的真实感与准确性？
• RQ4 所提出的方法在多样化身份、姿态和表情表现（包括性别、年龄和种族差异）下是否具备良好的泛化能力？
• RQ5 在逼真度和细粒度表情保真度方面，该方法与当前最先进表达迁移方法相比表现如何？

主要发现

• 所提方法在RaFD、MMI和CFD等未配对图像数据集上实现了面部表情迁移的最先进性能，具有逼真的效果。
• 显式基于AU的特征解耦显著提升了细粒度表情迁移的准确性，优于依赖预测AU的方法。
• 交换一致性损失有效减少了伪影，并通过强制重建保真度提升了合成图像的视觉质量。
• 该模型在不同性别、年龄、种族和面部姿态等多样化的人口统计与姿态变化下表现出良好的泛化能力。
• 在CFD数据集上的定量评估显示，FID和LPIPS指标均优于基线方法。
• 消融研究证实，对抗性解耦与交换一致性两个组件对于实现高质量表情迁移均至关重要。