[论文解读] GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network

Sakib Shahriar|arXiv (Cornell University)|Aug 9, 2021

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本综述探讨了生成对抗网络（GANs）在视觉艺术、音乐和文学文本生成中的应用，全面回顾了 GAN 架构、性能对比以及在创造性人工智能中的挑战。文章重点介绍了在逼真图像合成、条件生成和文本到图像建模方面的关键进展，同时指出了在使用深度生成模型进行艺术内容生成方面的局限性及未来研究方向。

ABSTRACT

"Art is the lie that enables us to realize the truth." - Pablo Picasso. For centuries, humans have dedicated themselves to producing arts to convey their imagination. The advancement in technology and deep learning in particular, has caught the attention of many researchers trying to investigate whether art generation is possible by computers and algorithms. Using generative adversarial networks (GANs), applications such as synthesizing photorealistic human faces and creating captions automatically from images were realized. This survey takes a comprehensive look at the recent works using GANs for generating visual arts, music, and literary text. A performance comparison and description of the various GAN architecture are also presented. Finally, some of the key challenges in art generation using GANs are highlighted along with recommendations for future work.

研究动机与目标

• 全面回顾 2015 年至 2021 年间基于 GAN 的视觉艺术、音乐和文学文本生成的最新进展。
• 分析并比较不同创意领域中各种 GAN 架构的性能。
• 识别使用 GAN 生成高质量、连贯且具有意义的艺术内容所面临的关键挑战。
• 为使用深度学习进行艺术生成建模的未来研究提供建议。

提出的方法

• 对 2015 年至 2021 年间基于 GAN 的艺术生成相关同行评审文献进行系统性综述。
• 根据架构、损失函数和训练策略对视觉、音频和文本生成中的 GAN 模型进行分类。
• 在 FID、IS 和人类评估等指标下，对 StyleGAN、BigGAN 和条件 GAN 等 GAN 变体进行性能比较。
• 分析注意力机制、自注意力模块以及渐进式增长技术在提升生成质量方面的作用。
• 引入条件输入（如类别标签、文本嵌入）以实现内容生成的解耦控制。
• 结合定量指标与定性的人类评估，以衡量艺术输出的保真度与创造力。

实验结果

研究问题

• RQ1 GAN 如何被改进以生成高保真度的视觉艺术，包括逼真图像和艺术风格？
• RQ2 GAN 中的哪些架构创新推动了结构化且多样化的音乐作品的生成？
• RQ3 基于 GAN 的模型在生成连贯且语境相关的文学文本方面（包括故事生成和图像字幕）效果如何？
• RQ4 当前基于 GAN 的艺术生成在模式崩溃、训练不稳定性以及语义一致性方面的主要局限性是什么？
• RQ5 未来哪些研究方向可提升 GAN 生成艺术内容的创造力、可控性与可解释性？

主要发现

• StyleGAN 及其变体在生成高分辨率、多样化且逼真的面部图像方面取得了最先进成果，且实现了属性的解耦。
• 条件 GAN 及其变体在文本到图像生成方面实现了显著进展，使用户能够通过文本提示精确控制生成内容。
• BigGAN 展示了 GAN 在多类别图像生成中的可扩展性，实现了低 Fréchet Inception Distance（FID）分数。
• 在音乐生成方面，具有潜在空间建模和波形级架构的 GAN 展现出生成连贯且节奏结构清晰作品的潜力。
• 尽管已有进展，GAN 仍面临模式崩溃、对罕见概念泛化能力差，以及在长文本生成中难以维持长距离语义连贯性等挑战。
• 人类评估依然至关重要，因为 FID 和 Inception Score 等定量指标往往与感知的艺术质量或创造力无显著相关性。