[论文解读] ArtGAN: Artwork Synthesis with Conditional Categorical GANs

Wei Tan, Chee Seng Chan+2 more|arXiv (Cornell University)|Feb 11, 2017

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 17

一句话总结

ArtGAN 提出了一种条件类别 GAN 框架，通过将标签反馈反向传播至生成器，实现了对复杂抽象艺术作品和自然图像更清晰结构的生成。通过在训练过程中引入标签监督，ArtGAN 在 CIFAR-10 和真实艺术风格迁移任务中均实现了优于 DCGAN 和 GAN/VAE 的图像质量，且在定性和定量评估中表现更优。

ABSTRACT

This paper proposes an extension to the Generative Adversarial Networks (GANs), namely as ARTGAN to synthetically generate more challenging and complex images such as artwork that have abstract characteristics. This is in contrast to most of the current solutions that focused on generating natural images such as room interiors, birds, flowers and faces. The key innovation of our work is to allow back-propagation of the loss function w.r.t. the labels (randomly assigned to each generated images) to the generator from the discriminator. With the feedback from the label information, the generator is able to learn faster and achieve better generated image quality. Empirically, we show that the proposed ARTGAN is capable to create realistic artwork, as well as generate compelling real world images that globally look natural with clear shape on CIFAR-10.

研究动机与目标

• 为解决现有 GAN 在生成缺乏清晰前景/背景和非结构化形状的抽象非具象艺术作品方面的局限性。
• 通过在训练过程中实现从判别器到生成器的标签信息反向传播，提升图像生成质量。
• 通过以支持艺术风格与流派更好解耦的方式，将类别标签监督融入条件 GAN，实现其扩展。
• 证明标签反馈可增强生成器学习，从而生成更真实且结构更一致的图像，尤其在具有挑战性的艺术领域表现更优。
• 通过在艺术数据集和标准基准（如 CIFAR-10）上的评估，验证模型的泛化能力。

提出的方法

• ArtGAN 通过向生成器和判别器均引入标签输入 $\hat{\mathbf{y}}$，扩展了标准 GAN，其关键创新在于将基于标签的损失梯度反向传播至生成器。
• 判别器使用 Sigmoid 激活函数输出 $K+1$ 类的概率分布（而非 Softmax），支持多类别或开放集分类。
• 在生成器中从编码器到解码器添加残差连接，以支持 L2 像素级重建损失，提升图像保真度。
• 模型结合对抗损失与 L2 重建损失，受 Larsen 等人启发，以稳定训练并提升视觉质量。
• 根据图像内容（如艺术家、流派、风格）为生成图像分配标签，并利用这些标签引导判别器向生成器提供反馈。
• 由于其灵活的标签表示和基于 Sigmoid 的输出，该框架可泛化至多标签和开放集识别任务。

实验结果

研究问题

• RQ1 能否设计一种将标签反馈反向传播至生成器的 GAN 架构，使其生成的艺术作品质量高于标准 GAN？
• RQ2 引入类别标签监督是否能改善生成图像中艺术风格与流派的解耦？
• RQ3 尽管在抽象艺术上进行训练，ArtGAN 是否能在 CIFAR-10 等标准基准上生成具有更清晰物体结构且减少伪影的图像？
• RQ4 在对抗损失之外引入 L2 重建损失，对生成图像的视觉质量有何影响？
• RQ5 模型在多大程度上避免了对训练数据的记忆，通过最近邻比较可衡量？

主要发现

• 在使用 Parzen-window 估计法评估时，ArtGAN 在 CIFAR-10 上取得了 2564 ± 67 的最高对数似然度得分，优于 DCGAN（2348 ± 67）和 GAN/VAE（2483 ± 67）。
• 定性结果显示，ArtGAN 生成的艺术作品更具自然感和吸引力，尤其在模仿文森特·梵高和古斯塔夫·多雷等特定艺术家风格时，色彩调色板准确且风格一致。
• 该模型成功捕捉了如浮世绘木刻版画的黄褐色调和梵高早期作品的单色素描风格等特征。
• 在 CIFAR-10 上，ArtGAN 生成的图像在物体形状（如汽车、马匹）上更清晰，而 DCGAN 生成的图像则更模糊且结构更差。
• 最近邻分析（图 5）表明，ArtGAN 并未简单记忆训练图像，因为生成样本与任何训练样本均不完全匹配。
• 标签反馈的使用显著提升了生成器的学习效果，表现为伪影减少和艺术作品及自然图像在结构上的一致性增强。