[论文解读] FaceShop: Deep Sketch-based Face Image Editing

Tiziano Portenier, Qiyang Hu+4 more|arXiv (Cornell University)|Apr 24, 2018

Face recognition and analysis参考文献 21被引用 24

一句话总结

FaceShop 引入了一种实时、基于草图的面部图像编辑系统，通过用户绘制的线条实现对形状和色彩的直观、交互式编辑，或从样本图像中智能复制粘贴。它采用了一种新颖的草图域，以及在图像补全和图像转换任务上端到端训练的卷积神经网络，实现了无需后处理的高质量、语义一致的结果。

ABSTRACT

We present a novel system for sketch-based face image editing, enabling users to edit images intuitively by sketching a few strokes on a region of interest. Our interface features tools to express a desired image manipulation by providing both geometry and color constraints as user-drawn strokes. As an alternative to the direct user input, our proposed system naturally supports a copy-paste mode, which allows users to edit a given image region by using parts of another exemplar image without the need of hand-drawn sketching at all. The proposed interface runs in real-time and facilitates an interactive and iterative workflow to quickly express the intended edits. Our system is based on a novel sketch domain and a convolutional neural network trained end-to-end to automatically learn to render image regions corresponding to the input strokes. To achieve high quality and semantically consistent results we train our neural network on two simultaneous tasks, namely image completion and image translation. To the best of our knowledge, we are the first to combine these two tasks in a unified framework for interactive image editing. Our results show that the proposed sketch domain, network architecture, and training procedure generalize well to real user input and enable high quality synthesis results without additional post-processing.

研究动机与目标

• 解决非专业用户在局部面部图像编辑中缺乏直观工具的问题。
• 通过用户绘制的简单线条实现对形状和色彩的细粒度控制。
• 同时支持基于草图的编辑和从样本图像中智能复制粘贴，无需手动绘制。
• 开发一种深度学习框架，能良好泛化至真实用户输入，并生成无伪影、高分辨率的结果。
• 在单一端到端训练框架中统一图像补全与图像转换，以提升一致性和质量。

提出的方法

• 该系统使用一种新颖的草图域，将用户绘制的几何与色彩约束作为条件生成对抗网络（conditional GAN）的输入。
• 一个卷积神经网络在两个并行任务上端到端训练：图像补全与图像转换。
• 生成器网络基于输入草图和周围上下文合成图像区域，判别器则确保结果的真实感与一致性。
• 训练数据通过在 CelebA 数据集的真实面部图像上自动模拟草图线条与色彩叠加构建。
• 界面支持实时交互与迭代编辑，配备一种智能复制粘贴模式，可将内容从源图像鲁棒地融合到目标图像中。
• 损失函数被设计用于保留结构细节与语义一致性，最小化伪影并提升纹理质量。

实验结果

研究问题

• RQ1 是否可以通过仅需最少用户输入的基于草图的界面实现直观且精确的局部面部图像编辑？
• RQ2 如何联合训练图像补全与图像转换，以提升局部编辑中的语义一致性和真实感？
• RQ3 深度学习模型能否在无需标注数据或先验知识的情况下，良好泛化至真实、不完美的用户草图？
• RQ4 与现有“翻译到编辑”方法相比，该方法在伪影减少与细节保留方面表现如何？
• RQ5 该系统在处理复杂编辑（如发型更改或布局不一致）方面的能力有多大？

主要发现

• 所提出的系统在极少用户输入下实现了高质量、逼真的面部图像编辑，生成了清晰的纹理与极少的伪影。
• 在图像补全与图像转换上联合训练，相比独立的图像转换或“翻译到编辑”流程，能产生更一致且更精细的结果。
• 智能复制粘贴模式成功实现了在光照、纹理或姿态变化下跨图像的面部组件转移。
• 系统在一定程度上可泛化至更高分辨率，但超过训练尺度后性能显著下降。
• 失败案例包括语义不一致的布局（如眼睛画在额头）以及完全的发型大改，原因在于训练数据中缺乏此类模式。
• 与基线方法（如 pix2pix）相比，该方法在纹理细节与伪影减少方面表现更优，尤其在局部编辑场景中。