[论文解读] Adversarial Open Domain Adaptation for Sketch-to-Photo Synthesis

Xiaoyu Xiang, Ding Liu+4 more|arXiv (Cornell University)|Apr 12, 2021

Advanced Vision and Imaging被引用 5

一句话总结

本文提出对抗性开放域自适应（AODA），一种新颖的框架，通过联合训练草图到照片和照片到草图的生成器，实现对未见类别的草图到照片合成，同时采用随机混合采样策略以减少真实草图与合成草图之间的域差距。该方法在开放域草图到照片转换任务中达到最先进性能，即使在训练期间未见的类别上，也能生成真实感强、高保真的256×256图像。

ABSTRACT

In this paper, we explore open-domain sketch-to-photo translation, which aims to synthesize a realistic photo from a freehand sketch with its class label, even if the sketches of that class are missing in the training data. It is challenging due to the lack of training supervision and the large geometric distortion between the freehand sketch and photo domains. To synthesize the absent freehand sketches from photos, we propose a framework that jointly learns sketch-to-photo and photo-to-sketch generation. However, the generator trained from fake sketches might lead to unsatisfying results when dealing with sketches of missing classes, due to the domain gap between synthesized sketches and real ones. To alleviate this issue, we further propose a simple yet effective open-domain sampling and optimization strategy to "fool" the generator into treating fake sketches as real ones. Our method takes advantage of the learned sketch-to-photo and photo-to-sketch mapping of in-domain data and generalizes it to the open-domain classes. We validate our method on the Scribble and SketchyCOCO datasets. Compared with the recent competing methods, our approach shows impressive results in synthesizing realistic color, texture, and maintaining the geometric composition for various categories of open-domain sketches. Our code is available at https://github.com/Mukosame/AODA

研究动机与目标

• 解决训练数据中不存在的开放域类别在草图到照片合成中的挑战。
• 减少用于训练的真实手绘草图与合成草图之间的域差距。
• 仅使用照片数据和域内草图-照片配对样本，实现草图到照片转换在未见类别上的泛化能力。
• 开发一个统一框架，联合学习草图到照片和照片到草图的转换，提升生成图像的保真度与几何一致性。

提出的方法

• 提出一种双周期GAN框架，利用域内草图-照片配对样本，联合训练草图到照片生成器和照片到草图生成器。
• 引入开放域采样策略，在训练过程中随机混合来自照片到草图转换的虚假草图与真实草图，以减少域偏移。
• 利用照片到草图生成器为开放域类别合成合理的手绘草图，实现零样本草图到照片转换。
• 采用对抗性训练结合实例归一化和残差块，以保留生成图像中的结构与纹理细节。
• 采用带有类别标签的条件GAN以引导生成过程，提升多样化类别间的语义一致性。
• 通过对抗损失、循环一致性损失和身份损失端到端训练模型，确保输出图像的真实感与几何准确性。

Figure 1 : Illustration of open-domain sketch-to-photo synthesis problem. During the training stage of multi-class sketch-to-photo generation, sketches of some categories are missing. In the inference stage, our algorithm synthesizes photos from the input sketches for not only known classes, but als

实验结果

研究问题

• RQ1 当目标类别在训练中无对应草图时，草图到照片转换模型是否能泛化到开放域类别？
• RQ2 如何缓解真实草图与合成草图之间的域差距，以提升生成质量？
• RQ3 联合学习草图到照片与照片到草图转换是否能提升开放域草图到照片合成中的零样本泛化能力？
• RQ4 对虚假草图与真实草图进行随机混合采样是否能提升未见类别生成图像的鲁棒性与真实感？
• RQ5 所提方法能否生成高分辨率（256×256）的逼真照片，且具备准确的纹理与几何构图？

主要发现

• 在QMUL-Sketch数据集上，AODA在开放域样本上取得了最高的用户偏好得分（74.80%），FID为142.6（第二佳），分类准确率为88.5%。
• 在SketchyCOCO数据集上，AODA在用户研究中优于EdgeGAN与条件CycleGAN，并在开放域类别的FID与准确率上表现具有竞争力。
• 该方法成功合成了具有详细纹理与保留几何构图的真实感256×256图像，即使对于训练中未见的类别（如绵羊与长颈鹿）亦然。
• 用户研究表明，AODA在未见类别草图上显著优于基线方法，表明其在真实感与结构保真度方面均有提升。
• 照片到草图生成器产生了高质量的草图提取结果，作为副产品，其性能优于现有草图提取方法。
• 在完整Scribble数据集上的域内结果表明，AODA在标准多类别草图到照片生成任务中也表现具有竞争力，证实了其鲁棒性。