[论文解读] Learning to generate line drawings that convey geometry and semantics

Caroline Chan, Frédo Durand+1 more|arXiv (Cornell University)|Mar 23, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种无监督图像到图像转换方法，通过显式编码三维几何结构和语义内容，从照片生成线条画。该方法引入基于线条画特征预测深度的几何损失，以及使用CLIP嵌入的语义损失，在无需成对训练数据的情况下，优于最先进无配对方法，在传达形状和身份方面表现更优。

ABSTRACT

This paper presents an unpaired method for creating line drawings from photographs. Current methods often rely on high quality paired datasets to generate line drawings. However, these datasets often have limitations due to the subjects of the drawings belonging to a specific domain, or in the amount of data collected. Although recent work in unsupervised image-to-image translation has shown much progress, the latest methods still struggle to generate compelling line drawings. We observe that line drawings are encodings of scene information and seek to convey 3D shape and semantic meaning. We build these observations into a set of objectives and train an image translation to map photographs into line drawings. We introduce a geometry loss which predicts depth information from the image features of a line drawing, and a semantic loss which matches the CLIP features of a line drawing with its corresponding photograph. Our approach outperforms state-of-the-art unpaired image translation and line drawing generation methods on creating line drawings from arbitrary photographs. For code and demo visit our webpage carolineec.github.io/informative_drawings

研究动机与目标

• 从照片生成能有效传达三维形状和语义意义的线条画，且无需成对训练数据。
• 解决现有监督方法和配对方法的局限性，这些方法依赖于昂贵的人工标注数据集或特定领域数据。
• 通过引入显式的几何和语义监督，提升无监督图像转换在线条画生成中的表现。
• 通过引入任务特定损失，减少对循环一致性与外观重建的依赖。
• 仅使用无配对图像，即可在多样化主体和艺术风格间实现风格化线条画生成。

提出的方法

• 该方法将线条画生成建模为无监督图像转换问题，采用对抗性训练与循环一致性。
• 引入几何损失，通过生成线条画的特征预测深度，确保三维形状得以保留。
• 语义损失通过最小化输入照片与生成线条画之间的CLIP嵌入距离，以保持语义内容。
• 通过循环一致性保持外观保真度，确保重建图像与原始图像一致。
• 模型通过对抗性损失、循环一致性损失、几何损失与语义损失的组合进行端到端训练。
• 该方法在多样化数据集（包括人像、一般场景和风格化线条画）上进行评估，并对损失组件进行消融研究。

Figure 2 : Given a photograph $a$ , our model trains network $G_{A}$ to synthesize line drawing $G_{A}(a)$ via four main losses. Adversarial style loss with discriminator $D_{B}$ encourages generated line drawings to match the style of the training set. The CLIP , appearance, and geometry losses enf

实验结果

研究问题

• RQ1 能否在不依赖成对监督的情况下，从无配对照片中有效生成线条画？
• RQ2 显式的几何与语义监督是否能提升生成线条画的质量与信息量？
• RQ3 深度预测与基于CLIP的语义对齐在提升线条画感知质量方面起到何种作用？
• RQ4 当使用几何与语义等任务特定损失时，循环一致性可被减少到何种程度？
• RQ5 该方法在无需微调的情况下，能否在多样化主体与艺术风格间良好泛化？

主要发现

• 该方法在传达几何与语义方面，优于最先进的无配对图像转换与线条画生成方法。
• 用户研究表明，在Helen数据集上训练并与APDrawingGAN对比时，参与者在60.1%的情况下更偏好本方法。
• 即使在通用数据集（如Helen）上训练，该方法仍表现出色，某些场景下超越了监督基线。
• 使用CLIP特征的语义损失显著提升了与输入语义的一致性，减少了生成灰度图式输出的倾向。
• 消融研究证实，几何损失与语义损失均至关重要：几何损失提升形状一致性，语义损失增强身份保持能力。
• 该模型在不同风格间泛化良好，在人像、复杂场景及风格化线条画上均生成高质量结果，且无需领域特定微调。

Figure 3 : Results of our method in four different styles.