[论文解读] Cali-Sketch: Stroke Calibration and Completion for High-Quality Face Image Generation from Poorly-Drawn Sketches

Weihao Xia, Yujiu Yang+1 more|arXiv (Cornell University)|Nov 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 64被引用 11

一句话总结

Cali-Sketch 提出了一种两阶段方法，通过将笔画校准与图像生成解耦，从草率绘制的素描中生成逼真的面部图像。它使用笔画校准网络（Stroke Calibration Network）来优化面部笔画并丰富细节，同时保留原始意图，随后通过图像生成网络生成高保真度的照片，其在真实感和保真度方面优于最先进方法。

ABSTRACT

Image generation task has received increasing attention because of its wide application in security and entertainment. Sketch-based face generation brings more fun and better quality of image generation due to supervised interaction. However, When a sketch poorly aligned with the true face is given as input, existing supervised image-to-image translation methods often cannot generate acceptable photo-realistic face images. To address this problem, in this paper we propose Cali-Sketch, a poorly-drawn-sketch to photo-realistic-image generation method. Cali-Sketch explicitly models stroke calibration and image generation using two constituent networks: a Stroke Calibration Network (SCN), which calibrates strokes of facial features and enriches facial details while preserving the original intent features; and an Image Synthesis Network (ISN), which translates the calibrated and enriched sketches to photo-realistic face images. In this way, we manage to decouple a difficult cross-domain translation problem into two easier steps. Extensive experiments verify that the face photos generated by Cali-Sketch are both photo-realistic and faithful to the input sketches, compared with state-of-the-art methods

研究动机与目标

• 解决从草率绘制、对齐不良的素描中生成逼真面部图像的挑战。
• 当输入素描与真实面部结构显著偏离时，提升图像质量和保真度。
• 将复杂的图像到图像翻译任务解耦为两个可管理的阶段：笔画校准与图像生成。
• 在增强面部细节和对齐性的同时，保留原始素描的意图。

提出的方法

• 引入笔画校准网络（Stroke Calibration Network, SCN），以校正对齐不良的笔画并丰富草率绘制素描中的面部细节。
• SCN 在优化笔画几何结构的同时，保留原始素描的结构意图，并添加细粒度的面部特征。
• 图像生成网络（Image Synthesis Network, ISN）将校准后的素描转换为逼真的面部图像。
• 两个网络按顺序训练，SCN 在 ISN 生成最终图像前先对输入素描进行优化。
• 该方法将困难的跨域翻译任务分解为两个更简单的子任务，提升了训练稳定性和输出质量。
• 该框架实现了生成图像与原始素描所意图表达的面部结构之间的更好对齐。

实验结果

研究问题

• RQ1 笔画校准是否能在图像生成前显著提升草率绘制素描中面部特征的质量？
• RQ2 与端到端方法相比，两阶段网络架构在提升逼真度和保真度方面的效果如何？
• RQ3 在多大程度上保留原始素描的意图能提升生成面部图像的真实感？
• RQ4 将笔画校准与图像生成解耦是否优于联合优化策略？

主要发现

• Cali-Sketch 生成的面部图像在视觉上逼真，且忠实于输入素描的原始意图。
• 笔画校准步骤显著改善了低质量素描中面部特征的对齐性与细节丰富度。
• 两阶段方法在从草率绘制输入生成高保真度面部图像方面优于最先进方法。
• 大量实验表明，Cali-Sketch 在保持与输入素描结构一致性的同时，能够生成逼真的纹理和面部细节。