[论文解读] Deep Generation of Face Images from Sketches

Shuyu Chen, Wanchao Su+3 more|arXiv (Cornell University)|Jun 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 4

一句话总结

本文提出 DeepFaceDrawing，一种深度学习框架，通过在特征空间中隐式建模面部组件流形（眼睛、鼻子、嘴巴），从粗糙或不完整的手绘草图生成高质量、逼真的面部图像。该系统采用从局部到全局的方法，结合组件嵌入、特征映射和图像生成模块，将草图视为软约束，即使在低质量输入下也能实现稳健的图像生成，同时保留用户意图并支持细粒度控制。

ABSTRACT

Recent deep image-to-image translation techniques allow fast generation of face images from freehand sketches. However, existing solutions tend to overfit to sketches, thus requiring professional sketches or even edge maps as input. To address this issue, our key idea is to implicitly model the shape space of plausible face images and synthesize a face image in this space to approximate an input sketch. We take a local-to-global approach. We first learn feature embeddings of key face components, and push corresponding parts of input sketches towards underlying component manifolds defined by the feature vectors of face component samples. We also propose another deep neural network to learn the mapping from the embedded component features to realistic images with multi-channel feature maps as intermediate results to improve the information flow. Our method essentially uses input sketches as soft constraints and is thus able to produce high-quality face images even from rough and/or incomplete sketches. Our tool is easy to use even for non-artists, while still supporting fine-grained control of shape details. Both qualitative and quantitative evaluations show the superior generation ability of our system to existing and alternative solutions. The usability and expressiveness of our system are confirmed by a user study.

研究动机与目标

• 解决现有草图到图像模型在生成逼真面部图像时对高质量或类似边缘图草图的依赖问题。
• 实现在粗糙、不完整或低技能手绘草图输入下生成高质量面部图像。
• 通过在特征空间中对低维流形隐式建模合理面部组件形状，提升模型鲁棒性与用户友好性。
• 在保持整体面部一致性的前提下，支持对面部组件形状的细粒度控制。
• 通过用户研究和真实应用场景（如面部融合与复制粘贴）评估系统的可用性与表现力。

提出的方法

• 系统将输入草图分解为五个组件：左眼、右眼、鼻子、嘴巴和其余部分，各组件独立处理。
• 组件嵌入（CE）模块使用自编码器学习特征描述符，并将草图组件投影到潜在空间中的组件流形上。
• 特征映射（FM）模块将嵌入后的组件特征映射为32通道的特征图，提升信息流动并支持空间融合。
• 图像生成（IS）模块使用类似条件 GAN 的架构，从融合后的特征图生成最终的 512×512 面部图像。
• 阴影引导界面通过将草图组件投影到组件流形上，为用户提供结构化指导，使草图更简便。
• 该框架将输入草图视为软约束，即使在草图不完整或不精确的情况下，也能忠实还原用户意图。

实验结果

研究问题

• RQ1 深度学习模型能否在无需专业质量输入的前提下，从粗糙或不完整的手绘草图生成逼真面部图像？
• RQ2 如何隐式建模组件级别的特征流形以提升对草图质量的鲁棒性？
• RQ3 采用基于局部到全局的方法并结合组件级优化，在多大程度上能提升图像生成质量与用户控制能力？
• RQ4 该系统如何在允许局部编辑面部组件的同时保持整体面部的一致性？
• RQ5 所提方法在定性和定量评估中是否能超越现有草图到图像转换模型？

主要发现

• 所提方法即使在粗糙或不完整的草图输入下，也能生成高质量、逼真的人脸图像（512×512 分辨率），在视觉质量上优于现有方法。
• 用户研究表明系统具备良好的可用性与表现力，非专业用户仅凭极少绘画技能即可生成合理的人脸图像。
• 系统在输入草图中保留了用户意图，将草图视为软约束而非硬约束，从而增强了对草图瑕疵的鲁棒性。
• 定性和定量评估均表明，该方法在性能上优于基线模型及其他草图到图像转换模型。
• 该方法支持局部编辑与面部组件形状的细粒度控制，适用于面部融合、复制粘贴等应用。
• 尽管在处理布局错误或颜色控制方面仍存在局限，但该系统在具有结构先验的其他物体类别上展现出强大的可扩展潜力。