[论文解读] IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware Portrait Synthesis

Jingxiang Sun, Xuan Wang+4 more|arXiv (Cornell University)|May 31, 2022

Generative Adversarial Networks and Image Synthesis被引用 13

一句话总结

IDE-3D 提出了一种实时、高分辨率的3D感知人像生成系统，通过混合式生成对抗网络（GAN）反演与标准编辑器，实现了交互式、解耦的人脸形状与纹理编辑。通过结合3D语义感知的StyleGAN2生成器、视图一致的三平面渲染以及优化的潜在空间反演方法，该系统在全局与区域级编辑任务中均实现了最先进的逼真度、保真度与可编辑性，同时保持了视图一致性。

ABSTRACT

Existing 3D-aware facial generation methods face a dilemma in quality versus editability: they either generate editable results in low resolution or high-quality ones with no editing flexibility. In this work, we propose a new approach that brings the best of both worlds together. Our system consists of three major components: (1) a 3D-semantics-aware generative model that produces view-consistent, disentangled face images and semantic masks; (2) a hybrid GAN inversion approach that initialize the latent codes from the semantic and texture encoder, and further optimized them for faithful reconstruction; and (3) a canonical editor that enables efficient manipulation of semantic masks in canonical view and product high-quality editing results. Our approach is competent for many applications, e.g. free-view face drawing, editing, and style control. Both quantitative and qualitative results show that our method reaches the state-of-the-art in terms of photorealism, faithfulness, and efficiency.

研究动机与目标

• 解决3D感知人像生成中逼真度与可编辑性之间的权衡问题。
• 实现实时、交互式的人脸属性编辑（如发型、表情、配饰），同时保持视图一致性。
• 克服基于优化的GAN反演方法速度慢、不适用于交互式应用的局限性。
• 在3D空间中实现形状与纹理语义的解耦，以支持细粒度的区域级编辑。
• 在无需多视角监督的情况下，实现高保真度的重建与编辑。

提出的方法

• 多头StyleGAN2特征生成器在浅层与深层同时注入形状与纹理代码，生成解耦的3D感知特征。
• 将特征编码为空间对齐的三平面表示，以高效构建形状与纹理的3D体素表示。
• 通过基于2D卷积神经网络的上采样器，利用神经体积渲染生成高分辨率、视图一致的人像。
• 采用混合式GAN反演方法，首先利用语义与纹理编码器初始化潜在代码，再通过关键点微调（pivotal tuning）进行优化，以实现高保真度重建。
• 通过标准编辑器实现实时编辑，将用户在标准视图语义掩码上的修改映射回潜在空间，无需重新反演。
• 训练过程中引入多视角增强，以提升视图一致性，并减少自遮挡区域的伪影。

实验结果

研究问题

• RQ1 3D感知生成模型是否能在人像生成中同时实现高逼真度与细粒度可编辑性？
• RQ2 如何在保持重建保真度的前提下，加速GAN反演并实现交互式应用？
• RQ3 能否在3D空间中实现具有视图一致性的面部属性解耦编辑？
• RQ4 在不使用多视角监督的情况下，仅从2D图像学习，是否仍能生成合理的3D几何结构并实现一致的新视角？
• RQ5 能否在3D感知人像编辑中高效且忠实地实现区域级纹理风格迁移？

主要发现

• IDE-3D在多种编辑任务中均实现了逼真度、保真度与视图一致性的最先进性能。
• 混合式GAN反演方法显著减少了优化时间，相比纯优化方法实现了高保真度重建。
• 标准编辑器无需重新反演潜在代码即可实现实时编辑，同时保持高保真度与高效率。
• 通过基于语义标签查询风格三平面，成功实现了区域级纹理编辑，同时在非目标区域保留了原始风格。
• 与SofGAN和FENeRF相比，该模型在图像质量与视图一致性方面表现更优，尤其在新视角下对身份与纹理细节的保持方面优势显著。
• 训练过程中引入多视角增强，显著减少了新视角合成中的视图不一致与自遮挡伪影。