[论文解读] EDIT: Exemplar-Domain Aware Image-to-Image Translation

Yuanbin Fu, Jiayi Ma+2 more|arXiv (Cornell University)|Nov 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 5

一句话总结

本文提出 EDIT，一种统一的生成对抗网络，用于图像到图像的翻译，通过使用任意样本实现可控、多样且高保真度的跨多个领域的翻译。通过结合共享特征提取器与动态的、样本和领域感知的参数生成器，EDIT 在定量指标和定性结果上均达到最先进水平，同时相比先前方法显著减少了模型大小和推理时间。

ABSTRACT

Image-to-image translation is to convert an image of the certain style to another of the target style with the content preserved. A desired translator should be capable to generate diverse results in a controllable (many-to-many) fashion. To this end, we design a novel generative adversarial network, namely exemplar-domain aware image-to-image translator (EDIT for short). The principle behind is that, for images from multiple domains, the content features can be obtained by a uniform extractor, while (re-)stylization is achieved by mapping the extracted features specifically to different purposes (domains and exemplars). The generator of our EDIT comprises of a part of blocks configured by shared parameters, and the rest by varied parameters exported by an exemplar-domain aware parameter network. In addition, a discriminator is equipped during the training phase to guarantee the output satisfying the distribution of the target domain. Our EDIT can flexibly and effectively work on multiple domains and arbitrary exemplars in a unified neat model. We conduct experiments to show the efficacy of our design, and reveal its advances over other state-of-the-art methods both quantitatively and qualitatively.

研究动机与目标

• 为解决确定性、一对一图像翻译的局限性，通过统一框架实现多对多、样本可控的图像翻译。
• 在保持多领域高质量、多样化输出的同时，减少模型大小和推理时间。
• 通过动态参数生成，在单一生成器架构中整合领域感知与样本感知的风格建模。
• 通过循环一致性与对抗性训练，保持内容保真度并确保分布真实性。
• 通过线性组合多个样本的动态参数，实现平滑的风格插值。

提出的方法

• 生成器使用共享的卷积块在所有领域中提取内容特征，确保表示一致性。
• 动态参数生成器为风格化模块生成与领域和样本相关的权重，实现个性化的风格迁移。
• 模型采用循环一致性损失，以在领域间来回翻译时保持内容不变。
• 对抗性判别器确保生成图像与目标领域的分布相匹配。
• 通过轻量级参数网络，基于样本图像和领域身份条件生成动态参数。
• 该框架支持在单一紧凑模型中使用任意样本和多个领域。

实验结果

研究问题

• RQ1 统一模型能否通过使用任意样本，在多个领域中实现高质量、多样的图像到图像翻译？
• RQ2 如何通过动态参数生成高效建模领域特异性和样本特异性的风格信息？
• RQ3 对抗性训练与循环一致性对少样本、基于样本的翻译中内容保持与真实感的影响如何？
• RQ4 与现有最先进基于样本的多领域翻译模型相比，所提方法在效率与性能上表现如何？
• RQ5 通过组合多个样本的动态参数，能否实现平滑的风格插值？

主要发现

• EDIT 在多个基准测试中达到最先进 FID 分数，包括在 cityscapes 数据集上的 12.4 和在 horse2zebra 数据集上的 18.7，优于先前方法。
• 由于高效的动态参数生成，模型存储需求降低至 476MB，显著低于 metaNST 的 870MB。
• 每张图像的推理速度为 4.3ms，是目前所有基于样本感知方法中最快，仅略慢于 cycleGAN 的 3.5ms。
• 视觉结果表明，内容保持更优，风格化更真实，尤其在绘画到照片翻译等复杂场景中表现突出。
• 通过线性组合多个样本的动态参数实现的风格插值，产生平滑且视觉连贯的风格过渡。
• 消融实验确认了判别器和循环一致性的关键作用，当任一组件被移除时，性能显著下降。