[论文解读] Controllable Generative Adversarial Network

Minhyeok Lee, Junhee Seok|arXiv (Cornell University)|Aug 2, 2017

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 11

一句话总结

本文提出了一种新型的生成对抗网络架构——可控生成对抗网络（ControlGAN），通过将特征分类与判别器解耦，实现了对生成图像特征的细粒度、精细化控制。通过独立训练一个特征分类器，并将其集成到生成器的损失函数中，ControlGAN 能够生成高质量、多样化的样本，精确控制主要特征和细微特征，包括训练过程中未见过的插值和外推标签。

ABSTRACT

Recently introduced generative adversarial network (GAN) has been shown numerous promising results to generate realistic samples. The essential task of GAN is to control the features of samples generated from a random distribution. While the current GAN structures, such as conditional GAN, successfully generate samples with desired major features, they often fail to produce detailed features that bring specific differences among samples. To overcome this limitation, here we propose a controllable GAN (ControlGAN) structure. By separating a feature classifier from a discriminator, the generator of ControlGAN is designed to learn generating synthetic samples with the specific detailed features. Evaluated with multiple image datasets, ControlGAN shows a power to generate improved samples with well-controlled features. Furthermore, we demonstrate that ControlGAN can generate intermediate features and opposite features for interpolated and extrapolated input labels that are not used in the training process. It implies that ControlGAN can significantly contribute to the variety of generated samples.

研究动机与目标

• 解决现有生成对抗网络在控制主要属性之外的详细、细粒度特征方面的局限性。
• 实现对标准条件生成对抗网络难以控制的特定、细微特征的图像生成。
• 探索模型生成未见标签组合的中间特征和相反特征的能力。
• 通过生成器中解耦的特征学习提升样本的多样性与质量。
• 通过插值与外推实现对分布外标签的泛化。

提出的方法

• ControlGAN 引入一个独立于判别器训练的特征分类器，用于提取详细的特征表示。
• 生成器通过结合对抗损失与来自独立分类器的特征重建损失进行训练。
• 在生成器训练过程中冻结特征分类器，使生成器能够学习生成匹配特定详细特征的样本。
• 通过将潜在码与特定特征向量联合条件化，实现对特征的控制。
• 利用标签向量的插值与外推，生成训练数据中不存在的新颖、逼真的特征组合。
• 该架构保持标准生成对抗网络框架，但通过修改损失函数以强调特征级别的控制。

实验结果

研究问题

• RQ1 生成对抗网络架构是否能实现对主要属性之外的详细图像特征的细粒度控制？
• RQ2 该模型能否生成具有未在训练中见过的插值特征标签的逼真样本？
• RQ3 通过外推标签向量，该模型能否生成具有相反特征（如微笑与皱眉）的样本？
• RQ4 将特征分类器与判别器解耦是否能提升特征解缠与生成质量？
• RQ5 与标准条件生成对抗网络相比，ControlGAN 在样本多样性与真实感方面提升了多少？

主要发现

• ControlGAN 能够成功生成高保真度图像，对诸如面部表情、发色和物体属性等详细特征实现精确控制。
• 该模型可泛化至未见的标签组合，对训练数据中不存在的插值与外推特征生成合理样本。
• 在多个图像数据集上的评估表明，与基线条件生成对抗网络相比，样本质量与多样性均有提升。
• 解耦的特征分类器实现了更优的语义特征解缠，从而带来更可控的生成效果。
• 通过定性与定量指标验证，ControlGAN 在具备细粒度控制能力的条件图像生成任务中达到当前最优性能。
• 该模型在生成语义上有意义的中间特征与相反特征方面表现出强鲁棒性，表明其在训练分布之外具有良好的泛化能力。