[论文解读] ExSinGAN: Learning an Explainable Generative Model from a Single Image

Zicheng Zhang, Congying Han+1 more|arXiv (Cornell University)|May 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 8

一句话总结

ExSinGAN 提出了一种分层的、可解释的生成模型，通过结合内部图像块统计与外部先验，利用三个模块化的 GAN（结构 GAN、语义 GAN 和纹理 GAN）从单张图像中进行学习。通过引入 GAN 反演进行结构监督以及使用预训练分类器进行语义引导，ExSinGAN 在图像生成与泛化能力方面优于 SinGAN，尤其在复杂场景和大对象上表现更优。

ABSTRACT

Generating images from a single sample, as a newly developing branch of image synthesis, has attracted extensive attention. In this paper, we formulate this problem as sampling from the conditional distribution of a single image, and propose a hierarchical framework that simplifies the learning of the intricate conditional distributions through the successive learning of the distributions about structure, semantics and texture, making the process of learning and generation comprehensible. On this basis, we design ExSinGAN composed of three cascaded GANs for learning an explainable generative model from a given image, where the cascaded GANs model the distributions about structure, semantics and texture successively. ExSinGAN is learned not only from the internal patches of the given image as the previous works did, but also from the external prior obtained by the GAN inversion technique. Benefiting from the appropriate combination of internal and external information, ExSinGAN has a more powerful capability of generation and competitive generalization ability for the image manipulation tasks compared with prior works.

研究动机与目标

• 为解决 SinGAN 在处理复杂单图（尤其是大对象或复杂结构）时生成合理图像的局限性。
• 通过引入结构化、分层的学习与显式监督，提升单图生成模型的可解释性与可控性。
• 通过结合内部图像块学习与来自 GAN 反演和预训练分类器的外部生成先验，提升生成质量与泛化能力。
• 在图像编辑、图像和谐化、画图生成图像等下游图像操作任务中实现稳健性能。

提出的方法

• ExSinGAN 采用三阶段模块化 GAN 框架：结构 GAN、语义 GAN 和纹理 GAN，按顺序从粗到细逐步生成图像。
• 结构 GAN 利用 GAN 反演从输入图像中提取并监督结构先验，确保生成布局的一致性。
• 语义 GAN 利用预训练分类器（如 VGG-19）将语义上有意义的特征注入生成的布局中。
• 纹理 GAN 通过预训练网络的感知损失，添加高频纹理细节以优化输出。
• 训练过程中同时使用内部图像块统计（来自输入图像）与外部先验（来自 GAN 反演）以稳定并增强生成效果。
• 采用渐进式训练策略，分分辨率阶段逐步提升，每个阶段基于前一阶段构建，从而提升稳定性和质量。

实验结果

研究问题

• RQ1 与纯内部学习相比，整合外部结构与语义先验是否能提升单图生成的质量与可控性？
• RQ2 ExSinGAN 的模块化设计（分离结构、语义与纹理学习）如何影响生成模型的可解释性与性能表现？
• RQ3 将内部图像块统计与外部生成先验相结合，在图像编辑与画图生成图像等图像操作任务中的泛化能力提升程度如何？
• RQ4 在平衡生成质量与计算成本的前提下，网络深度（N）与感知损失层（n）的最优配置是什么？
• RQ5 使用预训练分类器与 GAN 反演是否能提升生成图像的语义一致性，尤其是在复杂场景中？

主要发现

• ExSinGAN 在生成真实感强且上下文一致的图像方面优于 SinGAN，尤其在复杂场景与大对象上，定性对比结果显著。
• 消融实验表明，结构 GAN 对生成合理布局至关重要，而语义 GAN 显著提升了真实感与细节保真度。
• 使用 BigGAN 的判别器作为感知损失头，其效果与 VGG-19 相当，表明多种预训练网络均可有效引导语义生成。
• 感知损失层的最优数量（n）为 3；超过此数量会导致过拟合与伪影引入，因像素级监督过强。
• 增加阶段数（N）可提升图像质量，但收益递减且计算成本上升，N=9 所需时间约为 N=5 的两倍。
• ExSinGAN 在图像操作任务中表现优异：在画图生成图像与图像和谐化任务中，生成纹理更真实，结构细节保留更佳，优于使用更少阶段的 SinGAN。