[论文解读] Composition-Aided Face Photo-Sketch Synthesis

Jun Yu, Shengjie Shi+3 more|arXiv (Cornell University)|Dec 4, 2017

Face recognition and analysis被引用 7

一句话总结

本文提出一种基于构图引导的生成对抗网络（CA-GAN），用于人脸照片-素描合成，通过使用面部关键点标签和组合式重建损失，显著提升了结构真实感与身份一致性。该方法实现了最先进性能，相较于先前工作大幅降低了FID值。

ABSTRACT

Face photo-sketch synthesis aims at generating a facial sketch/photo conditioned on a given photo/sketch. It is of wide applications including digital entertainment and law enforcement. Precisely depicting face photos/sketches remains challenging due to the restrictions on structural realism and textural consistency. While existing methods achieve compelling results, they mostly yield blurred effects and great deformation over various facial components, leading to the unrealistic feeling of synthesized images. To tackle this challenge, in this work, we propose to use the facial composition information to help the synthesis of face sketch/photo. Specially, we propose a novel composition-aided generative adversarial network (CA-GAN) for face photo-sketch synthesis. In CA-GAN, we utilize paired inputs including a face photo/sketch and the corresponding pixel-wise face labels for generating a sketch/photo. In addition, to focus training on hard-generated components and delicate facial structures, we propose a compositional reconstruction loss. Finally, we use stacked CA-GANs (SCA-GAN) to further rectify defects and add compelling details. Experimental results show that our method is capable of generating both visually comfortable and identity-preserving face sketches/photos over a wide range of challenging data. Our method achieves the state-of-the-art quality, reducing best previous Frechet Inception distance (FID) by a large margin. Besides, we demonstrate that the proposed method is of considerable generalization ability. We have made our code and results publicly available: this https URL.

研究动机与目标

• 解决现有面部照片-素描合成方法中存在的结构失真与模糊问题。
• 提升合成素描与照片中的身份保持性与纹理一致性。
• 利用面部构图信息（如关键点标签）引导生成过程。
• 设计一种聚焦于难生成面部组件与细微细节的训练策略。
• 在多样且具有挑战性的数据上实现最先进性能并具备强泛化能力。

提出的方法

• 提出一种新型CA-GAN框架，同时输入一张人脸照片/素描及其对应的像素级面部标签图作为配对输入。
• 设计组合式重建损失，以强调对具有挑战性的面部组件与精细结构的准确生成。
• 采用堆叠式CA-GAN（SCA-GAN）架构，通过迭代方式逐步优化生成图像并添加细粒度细节。
• 使用基于GAN的对抗损失进行训练，以增强视觉真实感，同时保持身份一致性。
• 引入基于面部关键点的监督，以在合成过程中引导空间对齐与结构保真度。
• 通过对抗损失、感知损失与组合式重建损失的联合优化网络。

实验结果

研究问题

• RQ1 将面部构图信息整合是否能显著提升人脸照片-素描合成的逼真度与身份保持性？
• RQ2 组合式重建损失是否能有效提升细微面部特征的生成质量并减少结构失真？
• RQ3 堆叠式CA-GAN是否能以分层方式有效修正缺陷并提升视觉质量？
• RQ4 与先前SOTA方法相比，该方法在多样且具有挑战性的面部图像上的泛化能力如何？
• RQ5 使用像素级面部标签在不增加额外标注的前提下，对合成质量的提升程度有多大？

主要发现

• 所提出的CA-GAN方法在人脸照片-素描合成任务中实现了最先进性能，显著优于先前方法。
• 与最佳先前方法相比，该方法大幅降低了Frechet Inception Distance（FID）值。
• 合成的素描与照片具有高度视觉舒适度，结构真实感更强，模糊现象显著减少。
• 即使在姿态变化与低质量输入等挑战性条件下，该方法仍能有效保持身份一致性。
• 堆叠式CA-GAN（SCA-GAN）架构成功通过分层优化过程修正缺陷并添加引人注目的细节。
• 该模型在多样数据集及具有挑战性的面部构图中展现出显著的泛化能力。