[论文解读] DeepI2I: Enabling Deep Hierarchical Image-to-Image Translation by Transferring from GANs

Yaxing Wang, Lu Yu+1 more|arXiv (Cornell University)|Nov 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 77被引用 8

一句话总结

DeepI2I 提出了一种深度分层的图像到图像翻译框架，通过利用多层次特征——浅层的结构特征和深层的语义特征——来改善在形状变化较大的类别之间的翻译。通过从预训练的 BigGAN 或 StyleGAN 模型迁移知识，并使用适配器网络解决权重错位问题，它在基准数据集上实现了 mFID 降低 35%，从而实现了跨超过 100 个类别的高质量、可扩展的翻译。

ABSTRACT

Image-to-image translation has recently achieved remarkable results. But despite current success, it suffers from inferior performance when translations between classes require large shape changes. We attribute this to the high-resolution bottlenecks which are used by current state-of-the-art image-to-image methods. Therefore, in this work, we propose a novel deep hierarchical Image-to-Image Translation method, called DeepI2I. We learn a model by leveraging hierarchical features: (a) structural information contained in the shallow layers and (b) semantic information extracted from the deep layers. To enable the training of deep I2I models on small datasets, we propose a novel transfer learning method, that transfers knowledge from pre-trained GANs. Specifically, we leverage the discriminator of a pre-trained GANs (i.e. BigGAN or StyleGAN) to initialize both the encoder and the discriminator and the pre-trained generator to initialize the generator of our model. Applying knowledge transfer leads to an alignment problem between the encoder and generator. We introduce an adaptor network to address this. On many-class image-to-image translation on three datasets (Animal faces, Birds, and Foods) we decrease mFID by at least 35% when compared to the state-of-the-art. Furthermore, we qualitatively and quantitatively demonstrate that transfer learning significantly improves the performance of I2I systems, especially for small datasets. Finally, we are the first to perform I2I translations for domains with over 100 classes.

研究动机与目标

• 解决当前 I2I 方法在因高分辨率瓶颈导致形状变化较大的类别之间翻译受限的问题。
• 实现可扩展的多类别图像到图像翻译，突破先前模型约 40 个类别的限制。
• 通过从预训练 GAN 中迁移知识，提升小样本数据集上的训练稳定性和性能。
• 解决从预训练 GAN 组件初始化 I2I 模型时出现的权重错位问题。
• 证明在多样化领域中，实现高分辨率、逼真输出的深度 I2I 翻译的可行性。

提出的方法

• 该模型采用分层编码器-解码器架构，融合多个网络深度的特征，以捕捉结构和语义信息。
• 使用 BigGAN 或 StyleGAN 的预训练判别器权重初始化 I2I 模型的编码器和判别器。
• 使用相同 GAN 的预训练生成器权重初始化生成器，以迁移学习到的图像合成能力。
• 引入适配器网络，对齐预初始化编码器和生成器之间的特征分布，缓解错位问题。
• 通过使用潜在类别嵌入，支持多类别翻译，实现在超过 100 个类别上的可扩展单模型运行。
• 从预训练 GAN 中迁移知识可加速收敛并提升性能，尤其在小样本数据集上表现更优。

实验结果

研究问题

• RQ1 深度分层 I2I 框架能否提升形状变化显著的类别之间的翻译质量？
• RQ2 从预训练 GAN 中迁移知识能否有效初始化 I2I 模型，并提升小样本数据集上的性能？
• RQ3 所提出的适配器网络如何解决预初始化编码器与生成器组件之间的错位问题？
• RQ4 该方法能否在单个模型中扩展至超过 100 个类别，而不同于以往 I2I 系统受限于约 40 个类别的限制？
• RQ5 分层特征融合与基于 GAN 的迁移学习相结合，是否能带来生成图像在真实感和多样性方面的显著提升？

主要发现

• DeepI2I 在 Animal Faces、Birds 和 Foods 数据集上，与最先进方法相比，mFID 至少降低 35%。
• 该模型成功实现了跨超过 100 个类别的多类别 I2I 翻译，这是先前单模型方法未能实现的能力。
• 用户研究表明，与 StarGAN 和 DMIT 相比，DeepI2I 生成的图像显著更具真实感，78% 的成对比较结果更倾向于其输出。
• 从预训练 GAN 中迁移知识的策略可加速收敛并提升性能，尤其在小样本数据集上表现更优。
• 适配器网络有效解决了编码器与生成器之间的错位问题，在所有评估数据集上均一致提升了翻译质量。
• 对未见类别进行 I2I 翻译（如将人脸翻译为动物面孔）可生成高质量、逼真的结果，展现出强大的泛化能力。