[论文解读] StyleFaceV: Face Video Generation via Decomposing and Recomposing Pretrained StyleGAN3

Haonan Qiu, Yuming Jiang+3 more|arXiv (Cornell University)|Aug 16, 2022

Generative Adversarial Networks and Image Synthesis被引用 13

一句话总结

StyleFaceV 提出了一种新颖的框架，通过在预训练的 StyleGAN3 中分解和重组潜在特征，实现高保真度、身份一致的面部视频生成。该方法在潜在空间中解耦了外观与姿态表征，利用时间LSTM生成运动序列，并采用图像与视频联合训练策略，在无需高分辨率视频训练数据的情况下实现了最先进性能，包括在1024×1024分辨率下的视频合成。

ABSTRACT

Realistic generative face video synthesis has long been a pursuit in both computer vision and graphics community. However, existing face video generation methods tend to produce low-quality frames with drifted facial identities and unnatural movements. To tackle these challenges, we propose a principled framework named StyleFaceV, which produces high-fidelity identity-preserving face videos with vivid movements. Our core insight is to decompose appearance and pose information and recompose them in the latent space of StyleGAN3 to produce stable and dynamic results. Specifically, StyleGAN3 provides strong priors for high-fidelity facial image generation, but the latent space is intrinsically entangled. By carefully examining its latent properties, we propose our decomposition and recomposition designs which allow for the disentangled combination of facial appearance and movements. Moreover, a temporal-dependent model is built upon the decomposed latent features, and samples reasonable sequences of motions that are capable of generating realistic and temporally coherent face videos. Particularly, our pipeline is trained with a joint training strategy on both static images and high-quality video data, which is of higher data efficiency. Extensive experiments demonstrate that our framework achieves state-of-the-art face video generation results both qualitatively and quantitatively. Notably, StyleFaceV is capable of generating realistic $1024 imes1024$ face videos even without high-resolution training videos.

研究动机与目标

• 解决利用预训练图像生成器生成高保真度、身份一致且动态逼真的面部视频的挑战。
• 克服现有方法因生成对抗网络中潜在空间耦合而导致的身份漂移与不自然运动的问题。
• 在无需高分辨率训练视频的情况下，实现高分辨率（1024×1024）面部视频生成。
• 开发一种联合训练策略，利用图像与视频数据提升模型收敛性与性能，尤其在视频数据有限时。

提出的方法

• 通过专用的特征提取网络，将 StyleGAN3 的潜在空间分解为解耦的外观与姿态表征。
• 通过融合固定的外观代码与采样的姿态序列，重构潜在码以生成时序连贯的视频帧。
• 采用基于LSTM的时间模型，从解耦的姿态特征中生成逼真且连续的运动表征。
• 实施一种联合训练策略，结合真实视频数据与通过仿射增强在 StyleGAN3 潜在空间中生成的合成图像对。
• 在潜在码（w*）上引入自监督嵌入损失，以稳定训练并保持梯度流动，从而提升重建保真度。
• 在训练过程中引入权重重平衡策略，优先关注图像域中的细微运动捕捉（如嘴部动作）而非身份重建。

实验结果

研究问题

• RQ1 预训练的 StyleGAN3 潜在空间能否被有效分解为用于视频生成的解耦外观与姿态组件？
• RQ2 如何从潜在空间中解耦的姿态表征中合成时序连贯且动态的运动序列？
• RQ3 在有限视频数据与合成图像对上采用联合训练策略，能在多大程度上提升视频生成质量，而无需高分辨率视频监督？
• RQ4 该框架能否在无高分辨率训练视频的情况下生成高保真度的1024×1024面部视频？
• RQ5 与仅使用图像级重建损失相比，潜在码上的自监督嵌入损失在多大程度上提升了模型收敛性与重建质量？

主要发现

• StyleFaceV 在 FID-RAVDESS（15.42）、FID-Mixture（25.31）和 FVD（118.72）指标上达到最先进性能，显著优于先前方法。
• 即使在无任何高分辨率训练视频的情况下，该模型仍能生成高质量的1024×1024面部视频，展现出强大的泛化能力与数据效率。
• 潜在码（w*）上的自监督嵌入损失显著提升了重建保真度，使 FID-RAVDESS 从无损失时的102.97降至15.42，同时 arcface 相似度从0.6676提升至0.7266。
• 权重重平衡策略使模型能够更关注细微运动细节（如嘴部动作），将 FVD 从无重平衡时的722.84降至118.72。
• 联合训练策略有效利用了图像先验与有限视频数据，使模型能够生成逼真、时序连贯且身份保持稳定的视频。
• 结果表明，来自视频域生成的视频运动更生动，这是由于直接的时间监督作用；但来自图像域的生成结果同样高度逼真。