[论文解读] Exploring Explicit Domain Supervision for Latent Space Disentanglement in Unpaired Image-to-Image Translation

Jianxin Lin, Zhibo Chen+4 more|arXiv (Cornell University)|Feb 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 6

一句话总结

该论文提出DosGAN，一种新颖的无配对图像到图像翻译框架，通过使用预训练的域分类器进行显式域监督，以解耦域特定特征与域无关特征。通过利用分类器的特征作为显式域信号，DosGAN在无条件和条件翻译任务中均实现了最先进性能，包括对未见域的零样本迁移以及使用任意图像对进行条件翻译。

ABSTRACT

Image-to-image translation tasks have been widely investigated with Generative Adversarial Networks (GANs). However, existing approaches are mostly designed in an unsupervised manner while little attention has been paid to domain information within unpaired data. In this paper, we treat domain information as explicit supervision and design an unpaired image-to-image translation framework, Domain-supervised GAN (DosGAN), which takes the first step towards the exploration of explicit domain supervision. In contrast to representing domain characteristics using different generators or domain codes, we pre-train a classification network to explicitly classify the domain of an image. After pre-training, this network is used to extract the domain-specific features of each image. Such features, together with the domain-independent features extracted by another encoder (shared across different domains), are used to generate image in target domain. Extensive experiments on multiple facial attribute translation, multiple identity translation, multiple season translation and conditional edges-to-shoes/handbags demonstrate the effectiveness of our method. In addition, we can transfer the domain-specific feature extractor obtained on the Facescrub dataset with domain supervision information to unseen domains, such as faces in the CelebA dataset. We also succeed in achieving conditional translation with any two images in CelebA, while previous models like StarGAN cannot handle this task.

研究动机与目标

• 为解决无配对图像到图像翻译中领域信息未被显式利用的问题，尽管领域标签通常可得但常被忽视。
• 通过将领域身份作为显式监督，提升领域特定与领域无关特征的解耦能力。
• 实现在无需微调的情况下，将领域特定特征提取器零样本迁移到未见数据集。
• 支持使用任意源图像和参考图像进行条件图像翻译，此能力超越了StarGAN等模型。

提出的方法

• 使用无配对数据中的领域标签，预训练一个深度卷积神经网络分类器以预测图像的领域。
• 将预训练分类器的倒数第二层作为每张图像的领域特定特征提取器。
• 将领域特定特征与共享编码器提取的领域无关特征结合，生成目标域图像。
• 使用对抗生成损失和对称学习损失联合训练生成器与编码器，以最小化重建误差（自域与跨域）。
• 引入两个关键损失：图像重建损失（ℓ_im）和领域特定特征重建损失（ℓ_α,f），以稳定训练过程。
• 在与生成器和编码器联合训练前，通过预训练独立优化领域分类器（α(·)）。

实验结果

研究问题

• RQ1 显式域监督能否提升无配对图像到图像翻译中领域特定与领域无关特征的解耦？
• RQ2 与端到端训练相比，预训练领域分类器在提升特征解耦方面有何优势？
• RQ3 预训练的领域特定特征提取器是否可在无需微调的情况下迁移到未见领域？
• RQ4 该模型能否使用任意两张图像（即使来自不同领域）作为输入执行条件翻译？
• RQ5 与隐式领域建模相比，显式域监督在翻译质量与特征解耦方面表现如何？

主要发现

• DosGAN在多身份翻译任务中达到94.01%的top-1准确率，显著优于无预训练或关键损失的变体。
• 在edges-to-shoes翻译任务中，FID得分为50.0%，在edges-to-handbags任务中同样为50.0%，优于无监督模型如CycleGAN和DRIT。
• 人工感知研究表明，DosGAN优于所有无监督基线模型，78.5%的用户更偏好其生成结果。
• 消融实验证实，若移除ℓ_im或ℓ_α,f，分类准确率将降至15%以下，证明二者对稳定解耦至关重要。
• 预训练的领域分类器支持零样本迁移：在Facescrub上训练的特征提取器可良好泛化至CelebA，无需额外领域标签。
• DosGAN-c成功实现了任意两张图像（如边缘图与参考图像）作为输入的条件翻译，此功能在StarGAN中不被支持。