[论文解读] A Simple Baseline for StyleGAN Inversion.

Tianyi Wei, Dongdong Chen+6 more|arXiv (Cornell University)|Apr 15, 2021

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 13

一句话总结

本文提出了一种简单、前馈的神经网络用于StyleGAN图像重参数化，其在保持前馈方法速度的同时，实现了与基于优化的方法相当的高质量结果。通过使用浅层主干网络、多尺度头、多层身份损失与人脸分割损失，以及多阶段优化，该方法在面部图像编辑应用中实现了效率与保真度的平衡。

ABSTRACT

This paper studies the problem of StyleGAN inversion, which plays an essential role in enabling the pretrained StyleGAN to be used for real facial image editing tasks. This problem has the high demand for quality and efficiency. Existing optimization-based methods can produce high quality results, but the optimization often takes a long time. On the contrary, forward-based methods are usually faster but the quality of their results is inferior. In this paper, we present a new feed-forward network for StyleGAN inversion, with significant improvement in terms of efficiency and quality. In our inversion network, we introduce: 1) a shallower backbone with multiple efficient heads across scales; 2) multi-layer identity loss and multi-layer face parsing loss to the loss function; and 3) multi-stage refinement. Combining these designs together forms a simple and efficient baseline method which exploits all benefits of optimization-based and forward-based methods. Quantitative and qualitative results show that our method performs better than existing forward-based methods and comparably to state-of-the-art optimization-based methods, while maintaining the high efficiency as well as forward-based methods. Moreover, a number of real image editing applications demonstrate the efficacy of our method. Our project page is ~\url{this https URL}.

研究动机与目标

• 为解决在真实面部图像编辑中StyleGAN图像重参数化所面临的质量与效率之间的权衡问题。
• 开发一种前馈网络，其在保持前馈方法速度的同时，质量优于现有前馈方法。
• 将基于优化方法与前馈方法的优势整合为一种简单而有效的基线模型。
• 利用预训练的StyleGAN实现实用且实时的面部图像编辑。

提出的方法

• 使用浅层主干网络，并在不同特征尺度上并行部署多个高效头，以捕捉多层次的表征特征。
• 在生成器的多个网络层上应用多层身份损失，以保留身份细节。
• 使用多层人脸分割损失，以确保眼睛、鼻子、嘴巴等面部组件的语义一致性。
• 采用多阶段优化策略，通过多轮迭代逐步提升重参数化质量。
• 通过结合身份损失、分割损失与感知损失的复合损失函数，端到端训练重参数化网络。
• 网络设计为简单、前馈结构，以实现实时推理，无需迭代优化。

实验结果

研究问题

• RQ1 前馈网络是否能在保持高推理速度的同时，实现与基于优化方法相当的重参数化质量？
• RQ2 与单层监督相比，多层身份损失与人脸分割损失如何提升重参数化结果的保真度？
• RQ3 多阶段优化对StyleGAN重参数化质量与稳定性有何影响？
• RQ4 浅层、轻量化的网络搭配多尺度头，是否能在重参数化任务中超越更深、更复杂的基线模型？
• RQ5 该方法在多样化的真实面部图像上是否具备良好的泛化能力，适用于实际编辑应用？

主要发现

• 所提方法在定量指标与定性对比中均表现出与最先进基于优化方法相当的重参数化质量。
• 该方法保持了极高的推理速度，支持实时应用，而基于优化的基线方法则更为缓慢。
• 多层身份损失与人脸分割损失显著提升了生成图像中身份信息的保留程度与语义一致性。
• 多阶段优化策略有效提升了重参数化结果的质量，尤其在面部纹理与轮廓等细节方面表现更优。
• 该方法在多样化的真实面部图像上展现出强大的泛化能力，可有效支持下游编辑任务。
• 项目主页提供了真实世界编辑示例，展示了该方法在实际应用中的有效性。