[论文解读] Mask-Guided Portrait Editing with Conditional GANs

Shuyang Gu, Jianmin Bao+4 more|arXiv (Cornell University)|May 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 9

一句话总结

本文提出一种基于掩码引导的条件生成对抗网络（GAN）框架，通过从人脸掩码中学习解耦的面部组件嵌入（眼睛、嘴巴、头发、皮肤/鼻子），实现高质量、多样化且可控制的人像编辑。该方法支持端到端生成逼真人脸，实现局部编辑（如改变发色或发型）、带头发转移的人脸互换，以及人脸分割的数据增强，在多样性与真实感方面优于先前方法，同时将人脸分割准确率提升0.8%。

ABSTRACT

Portrait editing is a popular subject in photo manipulation. The Generative Adversarial Network (GAN) advances the generating of realistic faces and allows more face editing. In this paper, we argue about three issues in existing techniques: diversity, quality, and controllability for portrait synthesis and editing. To address these issues, we propose a novel end-to-end learning framework that leverages conditional GANs guided by provided face masks for generating faces. The framework learns feature embeddings for every face component (e.g., mouth, hair, eye), separately, contributing to better correspondences for image translation, and local face editing. With the mask, our network is available to many applications, like face synthesis driven by mask, face Swap+ (including hair in swapping), and local manipulation. It can also boost the performance of face parsing a bit as an option of data augmentation.

研究动机与目标

• 解决现有图像人像编辑方法在多样性、图像质量（尤其是皮肤与头发细节）以及可控性方面的局限性。
• 通过提供的面部掩码，实现对人脸属性（如形状、颜色、纹理）的精确组件级编辑。
• 开发一种可泛化的框架，支持多种应用，包括掩码到人脸的图像生成、带头发转移的人脸互换，以及人脸分割的数据增强。
• 通过掩码引导的生成方式，提升极端条件（如大姿态、光照不良、戴眼镜）下生成人脸的真实感与保真度。

提出的方法

• 该框架采用三部分端到端架构：一个包含五个自编码器的局部嵌入子网络，用于分别学习面部各组件（左眼、右眼、嘴巴、皮肤与鼻子、头发）的嵌入。
• 一个掩码引导的生成子网络，将学习到的组件嵌入与目标人脸掩码重新组合，生成前景人脸图像，确保组件间对应关系（如嘴巴对嘴巴）。
• 一个背景融合子网络，利用目标掩码将生成的前景与背景图像融合，生成自然完整的肖像。
• 在所有三个子网络中，将人脸掩码作为条件输入，以在生成过程中保持几何与语义一致性。
• 通过修改目标掩码或替换源图像的嵌入，实现组件级编辑，支持局部外观迁移（如改变发色或添加胡须）。
• 通过使用Helen数据集中的掩码与CelebA中的源图像，该框架支持人脸分割的数据增强，生成合成训练图像。

实验结果

研究问题

• RQ1 基于面部掩码引导的条件GAN框架，是否能在人像生成中实现比现有GAN方法更高的多样性与真实感？
• RQ2 掩码引导学习在局部人脸组件编辑（如形状、颜色、纹理）中的可控性方面，能提升到何种程度？
• RQ3 所提出的框架是否能在大姿态、光照不良或遮挡（如戴眼镜）等极端条件下生成高保真度的人脸？
• RQ4 该框架生成的合成数据是否能提升下游人脸分割模型的性能？

主要发现

• 所提框架在掩码到人脸的图像生成任务中达到最先进性能，优于先前方法，在多样性与图像质量方面表现更优，尤其在皮肤纹理与头发等细节方面优势显著。
• 该模型支持有效的局部编辑：用户可通过掩码或嵌入操作，修改面部组件形状（如让眼睛变大或嘴巴变宽），并实现外观迁移（如改变发色或添加胡须）。
• 该框架支持“人脸互换+”功能，通过显式传递头发组件，解决了传统人脸互换方法中缺乏头发转移能力的缺陷。
• 当掩码正确分割各组件时，即使在大姿态、极端光照或遮挡（如戴眼镜）等极端条件下，模型仍能生成逼真结果。
• 使用该框架生成的合成图像加入Helen数据集训练集后，人脸分割准确率提升0.8%，证明其作为数据增强工具的有效性。