[论文解读] Composition-aided Sketch-realistic Portrait Generation.

Fei Gao, Shengjie Shi+2 more|arXiv (Cornell University)|Dec 4, 2017

Generative Adversarial Networks and Image Synthesis参考文献 57被引用 13

一句话总结

本文提出CA-GAN，一种用于草图肖像生成的结构化辅助生成对抗网络，通过利用人脸照片和像素级面部标签，生成保持身份特征、逼真度高且模糊与形变较少的草图肖像。通过引入结构损失和堆叠的CA-GAN，该方法提升了细节表现力与泛化能力，在具有挑战性的数据上超越了现有方法。

ABSTRACT

Sketch portrait generation is of wide applications including digital entertainment and law enforcement. Despite the great progress achieved by existing face sketch generation methods, they mostly yield blurred effects and great deformation over various facial parts. In order to tackle this challenge, we propose a novel composition-aided generative adversarial network (CA-GAN) for sketch portrait generation. First, we utilize paired inputs including a face photo and the corresponding pixel-wise face labels for generating the portrait. Second, we propose an improved pixel loss, termed compositional loss, to focus training on hard-generated components and delicate facial structures. Moreover, we use stacked CA-GANs (stack-CA-GAN) to further rectify defects and add compelling details. Experimental results show that our method is capable of generating identity-preserving, sketch-realistic, and visually comfortable sketch portraits over a wide range of challenging data, and outperforms existing methods. Besides, our methods show considerable generalization ability.

研究动机与目标

• 解决现有面部草图生成方法中持续存在的模糊与形变问题。
• 通过结合人脸照片与详细的像素级面部区域标签，提升草图生成的保真度与真实感。
• 通过一种新型损失函数，增强对难以生成的面部组件与精细结构的训练关注。
• 在多样且具有挑战性的面部数据分布上实现更优的泛化能力与视觉质量。
• 构建堆叠式架构（stack-CA-GAN），通过迭代优化逐步提升草图输出并添加细粒度细节。

提出的方法

• 使用成对输入：一张人脸照片及其对应的像素级面部区域标签作为条件输入，以引导草图生成。
• 引入一种结构损失，强调对难以生成的面部组件与精细面部结构的训练关注。
• 在GAN框架内设计一种新型生成器网络，通过同时利用图像与标签输入，提升空间与语义一致性。
• 实现堆叠式CA-GAN架构（stack-CA-GAN），通过多级CA-GAN堆叠实现输出的迭代优化。
• 采用对抗损失、感知损失与所提出的结构损失联合训练模型，以平衡真实感、身份保持与结构准确性。
• 通过损失函数与网络设计隐式引入多尺度监督与注意力机制，以增强局部细节学习能力。

实验结果

研究问题

• RQ1 将像素级面部区域标签整合是否能显著提升生成草图肖像的真实感与结构保真度？
• RQ2 一种聚焦于困难面部组件与精细面部细节的结构损失，是否相比标准像素损失能带来可量化的草图质量提升？
• RQ3 stack-CA-GAN架构在多大程度上减少了伪影并增强了草图生成中的细节保留能力？
• RQ4 与现有最先进方法相比，该方法在多样化面部身份与姿态下的泛化能力如何？
• RQ5 在具有挑战性的条件下，该方法能否在保持身份一致性的同时生成高度逼真且具有手绘风格的草图输出？

主要发现

• 所提出的CA-GAN方法生成的草图肖像在面部结构与纹理细节方面显著优于现有方法，模糊程度更低，逼真度更高。
• 结构损失有效将训练重点转移至困难面部组件，使生成的面部特征更加清晰与准确。
• stack-CA-GAN架构通过迭代优化成功减少了缺陷，并添加了引人注目的细粒度细节。
• 该方法在多样化面部数据（包括姿态、光照与表情变化）中展现出强大的泛化能力。
• 定量评估显示，该方法在FID与LPIPS等标准指标上表现更优，表明图像质量与身份保持能力显著提升。
• 视觉对比结果证实，生成的草图在视觉上令人舒适，与真实手绘肖像高度相似。