[论文解读] LoGANv2: Conditional Style-Based Logo Generation with Generative Adversarial Networks

Cedric Oeldorf, Gerasimos Spanakis|arXiv (Cornell University)|Sep 22, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 34

一句话总结

本论文在 StyleGAN 的基础上扩展了条件潜在空间和一个条件 WGAN-GP 损失，以实现更高分辨率、可控的标志生成，并使用基于对象分类和 ResNet 的标签进行条件化。它在标志数据上比较无条件模型与条件模型，并分析质量、多样性以及对学习到的类别的遵循之间的权衡。

ABSTRACT

Domains such as logo synthesis, in which the data has a high degree of multi-modality, still pose a challenge for generative adversarial networks (GANs). Recent research shows that progressive training (ProGAN) and mapping network extensions (StyleGAN) enable both increased training stability for higher dimensional problems and better feature separation within the embedded latent space. However, these architectures leave limited control over shaping the output of the network, which is an undesirable trait in the case of logo synthesis. This paper explores a conditional extension to the StyleGAN architecture with the aim of firstly, improving on the low resolution results of previous research and, secondly, increasing the controllability of the output through the use of synthetic class-conditions. Furthermore, methods of extracting such class conditions are explored with a focus on the human interpretability, where the challenge lies in the fact that, by nature, visual logo characteristics are hard to define. The introduced conditional style-based generator architecture is trained on the extracted class-conditions in two experiments and studied relative to the performance of an unconditional model. Results show that, whilst the unconditional model more closely matches the training distribution, high quality conditions enabled the embedding of finer details onto the latent space, leading to more diverse output.

研究动机与目标

• 应对 GAN 中高模态标志数据的挑战，并在更高分辨率下提升训练稳定性。
• 引入 StyleGAN 的条件扩展，以获得对生成标志的可控性。
• 开发并比较两种来自自动标签提取的条件化策略。
• 评估条件化如何影响多模态标志分布的质量、多样性以及学习。

提出的方法

• 采用渐进式训练和受 StyleGAN 启发的基于风格的生成器，以稳定高分辨率的标志合成。
• 通过在映射网络之前，将类别条件嵌入到中间潜在空间中来实现条件化。
• 将 GAN 损失更新为条件 WGAN-GP，以将条件标签整合到判别器学习中。
• 使用两种方法提取视觉类别条件：基于对象分类的标注和 ResNet 特征嵌入。
• 在从 4x4 开始的更高分辨率上评估无条件与条件模型，使用 FID 及包括截断技巧在内的定性分析。

实验结果

研究问题

• RQ1 是否能够从标志中提取有意义、易于定义的类别条件来引导生成？
• RQ2 条件化是否在保持训练稳定性的前提下实现更高分辨率的标志合成？
• RQ3 不同的条件信号（对象分类 vs ResNet 特征）如何影响标志生成的多样性、质量和模式覆盖？
• RQ4 在多模态标志数据中，无条件真实感与条件可控性之间存在哪些权衡？

主要发现

• 无条件 StyleGAN 通过 FID 与训练分布的吻合度最高，表明输出稳定且分布一致。
• 基于对象分类的条件产生多样化但分离感较弱的视觉效果，FID 更高且学习速度较慢。
• 基于 ResNet 特征的条件生成的标志视觉上连贯、细节丰富，内部同质性强，但 FID 较高，表明输出更尖锐但更分散。
• 由于渐进式训练在早期阶段降低分布复杂度，所有模型都能在比此前工作大四倍的分辨率下稳定训练。
• 高质量的条件化有助于学习更复杂的模态，但可能引入一些无意义的输出并降低全局分布的保真度。