[论文解读] Improved ArtGAN for Conditional Synthesis of Natural Image and Artwork

Wei Tan, Chee Seng Chan+2 more|arXiv (Cornell University)|Aug 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 4

一句话总结

本文提出 ArtGAN，一种通过将标签梯度反向传播至生成器，并在判别器中集成类别自编码器以实现更优特征学习的条件 GAN。该模型在 CIFAR-10 上实现了最先进（SOTA）的 Inception 分数，能够生成高质量、逼真的图像与艺术作品，涵盖多种风格、流派与艺术家，包括抽象及非具象表现形式。

ABSTRACT

This paper proposes a series of new approaches to improve Generative Adversarial Network (GAN) for conditional image synthesis and we name the proposed model as ArtGAN. One of the key innovation of ArtGAN is that, the gradient of the loss function w.r.t. the label (randomly assigned to each generated image) is back-propagated from the categorical discriminator to the generator. With the feedback from the label information, the generator is able to learn more efficiently and generate image with better quality. Inspired by recent works, an autoencoder is incorporated into the categorical discriminator for additional complementary information. Last but not least, we introduce a novel strategy to improve the image quality. In the experiments, we evaluate ArtGAN on CIFAR-10 and STL-10 via ablation studies. The empirical results showed that our proposed model outperforms the state-of-the-art results on CIFAR-10 in terms of Inception score. Qualitatively, we demonstrate that ArtGAN is able to generate plausible-looking images on Oxford-102 and CUB-200, as well as able to draw realistic artworks based on style, artist, and genre. The source code and models are available at: https://github.com/cs-chan/ArtGAN

研究动机与目标

• 通过在训练过程中更有效地利用标签信息，提升 GAN 中条件图像生成的性能。
• 从条件输入生成高保真度的自然图像与复杂艺术作品，包括抽象与非具象风格。
• 解决标准 GAN 难以捕捉抽象或风格化艺术表征的挑战。
• 开发一种计算高效的图像质量增强方法，无需训练多个 GAN。
• 通过生成潜在空间中平滑的插值结果，证明模型具备泛化能力而非仅记忆训练数据。

提出的方法

• 生成器接收一个噪声向量与一个随机分配的标签作为输入，标签用于计算损失函数。
• 标签梯度从类别判别器反向传播至生成器，从而更高效地学习特定类别的视觉特征。
• 在基于类别自编码器的判别器中使用共享编码器，联合执行类别预测、对抗训练与图像重建。
• 提出一种新颖的图像质量增强策略：将生成图像上采样至双倍分辨率，再通过平均池化下采样，模拟投票机制以提升像素质量。
• 该架构命名为 ArtGAN-AEM，通过共享权重将自编码器与判别器集成，降低计算成本。
• 在潜在空间中执行插值以评估泛化能力，并避免对训练数据的记忆。

实验结果

研究问题

• RQ1 将标签梯度反向传播是否能提升生成器在条件 GAN 中学习特定类别视觉特征的能力？
• RQ2 在判别器中集成自编码器是否能增强特征表征能力并提升条件图像生成的质量？
• RQ3 所提出的分辨率上采样与平均池化投票策略是否能在不训练多个 GAN 的情况下有效提升生成图像质量？
• RQ4 该模型能否生成在不同风格、流派与艺术家之间具有真实感与多样性的艺术作品，包括抽象与非具象形式？
• RQ5 模型是否具备泛化能力，如潜在空间插值结果表现出平滑且合理的过渡？

主要发现

• ArtGAN-AEM 在 CIFAR-10 上实现了最先进（SOTA）的 Inception 分数，优于先前方法。
• 该模型在 Oxford-102 与 CUB-200 数据集上生成了高质量、可信的图像，具有清晰的物体结构与逼真的细节。
• ArtGAN 有效学习并再现了不同艺术风格，如巴洛克风格的深色调、洛可可风格的明亮感，以及浮世绘的黄褐色调。
• 对文森特·梵高、尤金·布丁与伊万·希什金等艺术家的合成画作，分别体现出其典型风格：如梵高的表现主义笔触、布丁的海洋主题与希什金的森林景观。
• 潜在空间插值显示出生成图像之间平滑且可信的过渡，证实模型未记忆训练数据。
• 该模型能基于风格、流派与艺术家生成逼真的艺术作品，展示了其从 Wikiart 数据集中学习复杂非具象表征的能力。