[论文解读] MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets

Sungjoo Ha, Martin Kersner+3 more|arXiv (Cornell University)|Nov 19, 2019

Face recognition and analysis参考文献 40被引用 22

一句话总结

MarioNETte 提出了一种少样本人脸重演框架，通过采用图像注意力模块、目标特征对齐以及一种新颖的地标变换器，解决了因驱动者与目标身份不匹配导致的身份保留失败问题。该方法在无需微调的情况下实现了最先进性能，即使在姿态和身份差异较大的情况下，也显著提升了真实感和身份保真度。

ABSTRACT

When there is a mismatch between the target identity and the driver identity, face reenactment suffers severe degradation in the quality of the result, especially in a few-shot setting. The identity preservation problem, where the model loses the detailed information of the target leading to a defective output, is the most common failure mode. The problem has several potential sources such as the identity of the driver leaking due to the identity mismatch, or dealing with unseen large poses. To overcome such problems, we introduce components that address the mentioned problem: image attention block, target feature alignment, and landmark transformer. Through attending and warping the relevant features, the proposed architecture, called MarioNETte, produces high-quality reenactments of unseen identities in a few-shot setting. In addition, the landmark transformer dramatically alleviates the identity preservation problem by isolating the expression geometry through landmark disentanglement. Comprehensive experiments are performed to verify that the proposed framework can generate highly realistic faces, outperforming all other baselines, even under a significant mismatch of facial characteristics between the target and the driver.

研究动机与目标

• 解决少样本人脸重演中的身份保留问题，即当驱动者面部特征与目标显著不同时，模型无法保留目标身份的问题。
• 消除在重演未见身份时对微调或重新训练的需求。
• 在大姿态变化和身份不匹配条件下提升重演质量。
• 开发一种无监督方法，无需标注数据即可将驱动者关键点适配为目标身份。

提出的方法

• 该模型使用带有3D关键点检测器的预处理模块，提取并归一化面部关键点，随后在关键点变换器中分离表情与身份几何结构。
• 图像注意力模块使生成器能够动态关注目标特征图中的相关空间位置，从而在合成过程中提升特征注入效果。
• 目标特征对齐通过在特征层面应用多次形变操作，实现不同姿态和身份下目标特征的对齐。
• 生成器采用基于U-Net的目标编码器提取风格特征，并生成形变后的目标特征图。
• 混合模块将驱动者姿态/表情特征与目标风格特征融合，生成用于图像生成的混合特征图。
• 基于条件GAN的框架结合判别器，通过对抗训练确保输出图像的真实性。

实验结果

研究问题

• RQ1 当驱动者与目标的面部特征显著不同时，少样本人脸重演模型能否保留未见目标的身份？
• RQ2 在缺乏针对每个目标身份的微调或标注数据的情况下，如何提升身份保留能力？
• RQ3 无监督关键点变换在多大程度上能缓解重演过程中的身份不匹配问题？
• RQ4 在大姿态变化条件下，图像注意力与特征级形变结合的方法是否在身份保留和真实感方面优于现有方法？

主要发现

• MarioNETte 在VoxCeleb1和CelebV数据集上均优于所有最先进基线方法，尤其在身份不匹配条件下表现更优。
• 消融实验证实，结合图像注意力与目标特征对齐可获得最佳性能，其CSIM分数显著高于AdaIN或单一组件变体。
• 关键点变换器减少了驱动者对身份的干扰，证据显示即使驱动者与目标面部特征差异显著，身份保留指标仍得到提升。
• 用户研究表明，与先前方法相比，MarioNETte 生成的结果更具真实感且身份保留更佳，尤其在具有挑战性的少样本设置下。
• 即使在大姿态下，该模型仍能保持高质量的重演效果，而此前方法因形变伪影而失效。
• 注意力图显示，MarioNETte 正确聚焦于目标图像中相关面部区域（如额头），避免了错位。