[论文解读] End-to-End Chinese Landscape Painting Creation Using Generative Adversarial Networks

Alice Xue|arXiv (Cornell University)|Nov 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 13

一句话总结

本文提出Sketch-And-Paint GAN（SAPGAN），这是首个无需条件输入即可从潜在噪声端到端生成高质量原创中国山水画的生成对抗网络。其采用两阶段流程——首先通过SketchGAN生成边缘图，再通过PaintGAN将边缘图转换为完整画作，最终在视觉图灵测试中实现55%的人类误判率，显著优于基线GAN模型。

ABSTRACT

Current GAN-based art generation methods produce unoriginal artwork due to their dependence on conditional input. Here, we propose Sketch-And-Paint GAN (SAPGAN), the first model which generates Chinese landscape paintings from end to end, without conditional input. SAPGAN is composed of two GANs: SketchGAN for generation of edge maps, and PaintGAN for subsequent edge-to-painting translation. Our model is trained on a new dataset of traditional Chinese landscape paintings never before used for generative research. A 242-person Visual Turing Test study reveals that SAPGAN paintings are mistaken as human artwork with 55% frequency, significantly outperforming paintings from baseline GANs. Our work lays a groundwork for truly machine-original art generation.

研究动机与目标

• 解决缺乏端到端、无需条件输入的生成对抗网络模型用于生成原创中国山水画的问题。
• 构建一个高保真度、具有文化真实性的传统中国山水画数据集，以支持生成式研究。
• 开发一种模拟人类艺术创作过程（先素描后着色）的框架。
• 通过大规模视觉图灵测试评估生成画作的真实感与原创性。
• 证明机器生成的艺术作品可在大规模范围内被误认为人类创作，推动原创AI艺术生成的前沿发展。

提出的方法

• SAPGAN是一种两阶段GAN框架：SketchGAN从随机潜在向量生成边缘图，PaintGAN则执行条件边缘到画作的图像翻译。
• SketchGAN在新构建的2,192幅高分辨率传统中国山水画的边缘图上进行训练。
• PaintGAN利用配对的边缘图与对应画作，学习图像到图像的翻译，最终生成512×512分辨率的画作。
• 模型采用标准GAN损失函数：判别器对真实与生成样本的最小最大优化，生成器目标是欺骗判别器。
• 该框架支持从潜在空间端到端生成，避免依赖人工提供的草图或图像。
• 通过潜在空间插值与最近邻分析，评估模型多样性与泛化能力，避免记忆训练数据。

实验结果

研究问题

• RQ1 GAN能否在无需草图或照片等条件输入的情况下，生成高质量、原创的中国山水画？
• RQ2 在人类评估中，机器生成的中国山水画在多大程度上会被误认为是人类创作的作品？
• RQ3 所提出的两阶段Sketch-And-Paint GAN框架是否能生成比基线GAN更连贯、更真实的画作？
• RQ4 该模型在未见内容上的泛化能力如何，是否能避免过拟合或对训练数据的记忆？
• RQ5 模型的潜在空间能否在不同画作之间产生有意义且结构连贯的插值？

主要发现

• 在242人的视觉图灵测试中，SAPGAN生成的画作有55%被误认为是人类创作，显著优于基线模型。
• 中文母语参与者更易被欺骗，70%的情况下将SAPGAN输出误认为是人类艺术，表明文化熟悉度并未降低其感知真实性。
• 与基线模型11%的误判率相比，SAPGAN实现了55%的误判率，p值<0.0001，具有统计显著性。
• 最近邻分析显示，SAPGAN生成结果与训练数据显著不同，表明尽管训练数据相对较小，模型仍具有较强的抗过拟合能力。
• 潜在空间插值展示了在插值过程中保持一致且连贯的景观结构，证实了潜在空间与生成过程的高质量。
• 在定性评估中，SAPGAN画作在美学、构图、清晰度与创意性方面得分显著优于基线模型，所有p值<0.0001。