[论文解读] DeepFaceEditing: Deep Face Generation and Editing with Disentangled Geometry and Appearance Control

Shuyu Chen, Fenglin Liu+5 more|arXiv (Cornell University)|May 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 59被引用 12

一句话总结

DeepFaceEditing 提出了一种用于人脸生成与编辑的结构化解耦框架，通过局部到全局的方法解耦面部几何与外观。通过利用草图作为共享的几何表征，并采用交换策略训练局部解耦，该方法实现了对人脸形状和外观的细粒度、直观控制，在编辑和合成任务中相比最先进方法展现出更优的细节表现与保真度。

ABSTRACT

Recent facial image synthesis methods have been mainly based on conditional generative models. Sketch-based conditions can effectively describe the geometry of faces, including the contours of facial components, hair structures, as well as salient edges (e.g., wrinkles) on face surfaces but lack effective control of appearance, which is influenced by color, material, lighting condition, etc. To have more control of generated results, one possible approach is to apply existing disentangling works to disentangle face images into geometry and appearance representations. However, existing disentangling methods are not optimized for human face editing, and cannot achieve fine control of facial details such as wrinkles. To address this issue, we propose DeepFaceEditing, a structured disentanglement framework specifically designed for face images to support face generation and editing with disentangled control of geometry and appearance. We adopt a local-to-global approach to incorporate the face domain knowledge: local component images are decomposed into geometry and appearance representations, which are fused consistently using a global fusion module to improve generation quality. We exploit sketches to assist in extracting a better geometry representation, which also supports intuitive geometry editing via sketching. The resulting method can either extract the geometry and appearance representations from face images, or directly extract the geometry representation from face sketches. Such representations allow users to easily edit and synthesize face images, with decoupled control of their geometry and appearance. Both qualitative and quantitative evaluations show the superior detail and appearance control abilities of our method compared to state-of-the-art methods.

研究动机与目标

• 解决现有人脸合成方法在面部几何与外观方面缺乏细粒度控制的问题。
• 通过引入面部结构的领域特定知识，改善人脸图像中几何与外观的解耦。
• 在保留高保真外观与几何细节的同时，实现通过草图进行直观的编辑。
• 支持灵活的编辑任务，如外观迁移、几何替换以及解耦控制下的联合编辑。
• 实现可靠且解耦的解耦，支持在几何与外观空间中的可控插值。

提出的方法

• 一种基于局部到全局的框架，包含两个核心模块：用于组件级几何与外观分离的局部解耦（LD），以及用于一致图像重建的全局融合（GF）。
• 局部解耦利用成对的图像与草图提取解耦表征，其中几何信息以草图与图像之间的共享空间形式编码。
• LD 模块在训练过程中应用交换策略，以确保几何与外观表征之间的解耦。
• GF 模块通过基于注意力的融合机制，将面部各组件（如眼睛、鼻子、嘴巴）的局部表征融合为全局一致的人脸图像。
• 草图用作输入以引导几何提取，从而实现对人脸结构及细节（如皱纹）的直观编辑。
• 外观通过参考图像进行控制，实现颜色、光照与材质属性的迁移，同时保留源图像的几何结构。

实验结果

研究问题

• RQ1 能否利用草图作为中间几何表征，有效学习面部几何与外观的解耦表征？
• RQ2 局部解耦面部组件是否能提升人脸生成与编辑的保真度与可控性？
• RQ3 全局融合模块是否能有效从解耦的局部特征中重建出高质量、一致的人脸图像？
• RQ4 该框架是否能支持灵活的编辑任务，如外观迁移、几何替换以及具有直观控制的联合编辑？
• RQ5 与最先进方法相比，该方法在几何与外观维度上的解耦插值表现如何？

主要发现

• 该方法在人脸编辑中实现了卓越的细节与外观控制，定性结果表明在多样化编辑任务中均表现出高度的真实感与一致性。
• 在几何与外观潜在空间中可控的线性插值可生成高保真度的中间人脸图像，充分证明了解耦的清晰性。
• 该框架支持通过草图对人脸几何进行直观编辑，包括皱纹等精细细节，且伪影极少。
• 从参考图像进行的外观迁移在保留源图像几何结构的同时，能忠实重建颜色与材质属性。
• 在定性与定量评估中，该方法均优于最先进方法，尤其在保留几何细节与外观保真度方面表现突出。
• 局限性包括在非正面人脸上的性能下降，以及在遮挡或复杂光照条件下存在挑战，可能导致生成结果出现颜色偏差。