[论文解读] Conditional Image-to-Image Translation

Jianxin Lin, Yingce Xia+3 more|arXiv (Cornell University)|May 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 19

一句话总结

本文提出了一种基于条件生成对抗网络（conditional GANs）和双重学习的条件图像到图像翻译方法，通过在目标域图像上进行条件控制，实现对翻译结果的细粒度控制。该方法将域无关特征与域特定特征解耦，从而生成多样化且可控的输出——在人脸到人脸以及边缘到鞋子/包包的翻译任务中，用户研究验证了其优越性能。

ABSTRACT

Image-to-image translation tasks have been widely investigated with Generative Adversarial Networks (GANs) and dual learning. However, existing models lack the ability to control the translated results in the target domain and their results usually lack of diversity in the sense that a fixed image usually leads to (almost) deterministic translation result. In this paper, we study a new problem, conditional image-to-image translation, which is to translate an image from the source domain to the target domain conditioned on a given image in the target domain. It requires that the generated image should inherit some domain-specific features of the conditional image from the target domain. Therefore, changing the conditional image in the target domain will lead to diverse translation results for a fixed input image from the source domain, and therefore the conditional input image helps to control the translation results. We tackle this problem with unpaired data based on GANs and dual learning. We twist two conditional translation models (one translation from A domain to B domain, and the other one from B domain to A domain) together for inputs combination and reconstruction while preserving domain independent features. We carry out experiments on men's faces from-to women's faces translation and edges to shoes&bags translations. The results demonstrate the effectiveness of our proposed method.

研究动机与目标

• 为解决现有图像到图像翻译模型缺乏控制力和多样性、对固定输入产生确定性输出的问题。
• 通过在目标域中参考图像的条件控制，实现对翻译图像风格的细粒度操控。
• 开发一种方法，在保留源图像域无关特征的同时，从条件目标图像中迁移域特定特征。
• 通过 GAN 和双重学习在无配对数据上实现该目标，确保重建一致性和域一致性。

提出的方法

• 该模型使用两个条件翻译网络：一个从域 A 到 B，另一个从 B 到 A，共享一个共同的特征提取主干网络。
• 通过分别对源图像和条件图像使用独立编码器，实现域无关特征与域特定特征的解耦。
• 使用对抗损失训练条件 GAN，以确保生成图像的真实性及其属于目标域。
• 通过在域无关和域特定特征上应用双重学习与重建损失，以保持身份和结构一致性。
• 在生成器中引入来自域特定特征的跳跃连接，以提升重建保真度和特征一致性。
• 通过组合损失（对抗损失、循环一致性损失，以及两类域的特征重建损失）进行端到端训练。

实验结果

研究问题

• RQ1 在固定源输入下，对目标域图像进行条件控制是否能实现多样化且可控的图像到图像翻译结果？
• RQ2 如何在图像翻译中有效解耦并操控域无关与域特定特征？
• RQ3 能否有效利用无配对数据训练条件翻译模型，而无需成对样本？
• RQ4 哪些架构组件（如跳跃连接、特征重建）对高质量条件翻译至关重要？
• RQ5 与现有基于 GAN 和双重学习的方法相比，该方法在视觉质量和用户偏好方面表现如何？

主要发现

• 所提出的 cd-GAN 模型在图像质量和特征一致性方面优于基线模型（如 cd-GAN-rec、cd-GAN-nof 等），尤其在保留域无关结构方面表现更优。
• 17 名受试者的用户研究表明，与其它方法相比，本模型生成的图像在域特定特征上与条件图像更相似。
• 消融研究证实，跳跃连接和特征重建损失对高保真度图像重建与特征解耦至关重要。
• 该模型仅使用域特定特征即可成功生成图像，其风格与条件图像相似，验证了有效特征提取。
• 当仅使用域无关特征时，该模型仍能保留源图像的主要形状，证实了结构与风格组件的有效解耦。
• 在人脸到人脸以及边缘到鞋子/包包的翻译任务中，结果表明该方法在对称与非对称翻译设置下均具有效性。