[论文解读] Learning Texture Manifolds with the Periodic Spatial GAN

Urs Bergmann, Nikolay Jetchev+1 more|arXiv (Cornell University)|May 18, 2017

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 23

一句话总结

本文提出周期性空间生成对抗网络（PSGAN），一种新颖的生成对抗网络，通过在噪声张量中引入全局、局部和周期性空间维度，学习复杂的纹理流形。PSGAN 实现了可扩展的高分辨率纹理合成、纹理间的平滑插值，并能准确建模周期性图案，在多种数据集上展现出超越以往基于 GAN 方法的灵活性与感知质量。

ABSTRACT

This paper introduces a novel approach to texture synthesis based on generative adversarial networks (GAN) (Goodfellow et al., 2014). We extend the structure of the input noise distribution by constructing tensors with different types of dimensions. We call this technique Periodic Spatial GAN (PSGAN). The PSGAN has several novel abilities which surpass the current state of the art in texture synthesis. First, we can learn multiple textures from datasets of one or more complex large images. Second, we show that the image generation with PSGANs has properties of a texture manifold: we can smoothly interpolate between samples in the structured noise space and generate novel samples, which lie perceptually between the textures of the original dataset. In addition, we can also accurately learn periodical textures. We make multiple experiments which show that PSGANs can flexibly handle diverse texture and image data sources. Our method is highly scalable and it can generate output images of arbitrary large size.

研究动机与目标

• 开发一种数据驱动的纹理合成方法，能够从大规模复杂图像数据集中无监督地学习。
• 建模非周期性与周期性纹理，包括具有循环平稳特性的纹理。
• 实现在学习到的纹理之间进行平滑插值，生成新颖且感知上融合自然的纹理。
• 实现内存和推理时间的线性可扩展性，支持任意输出图像尺寸。
• 克服以往 GAN 及参数化方法在处理纹理流形与周期性结构方面的局限性。

提出的方法

• PSGAN 在噪声张量中引入三种不同类型的维度：局部（Z^l）、全局（Z^g）和周期性（Z^p），每种维度具有特定的空间结构。
• 生成器网络通过全卷积层处理这些结构化的噪声张量，生成任意尺寸的图像。
• 周期性维度（Z^p）采用固定的空间频率设计，用于建模如蜂窝或鱼鳞等周期性纹理。
• 全局维度（Z^g）确保不同图像区域间纹理模式的一致性，实现无缝拼接。
• 模型采用标准 GAN 目标进行训练，判别器以完全无监督的方式区分真实图像与生成图像。
• 通过将大尺寸输出分割为空间块，该架构支持高效、可扩展的生成，同时保持恒定的 GPU 显存占用。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否从未标注的大规模图像数据集中无显式监督地学习并生成多样化纹理？
• RQ2 该模型能否在结构化噪声空间中表示并插值多种纹理，形成连续的纹理流形？
• RQ3 该模型能否准确捕捉并生成周期性纹理，包括具有复杂空间频率的纹理？
• RQ4 结构化的噪声空间是否能实现不同纹理类型之间的平滑、感知上有意义的过渡？
• RQ5 该模型能否在内存和计算复杂度呈线性关系的前提下，扩展至任意大的输出图像尺寸？

主要发现

• PSGAN 成功从大规模数据集中学习并合成了纹理，包括复杂、非平稳及循环平稳过程的纹理，其性能优于以往的 GAN 及参数化方法。
• 该模型在结构化噪声空间中实现了纹理间的平滑插值，生成了训练数据中不存在的新颖、感知上融合自然的纹理。
• PSGAN 准确建模了周期性纹理（如蜂窝与鱼鳞），在正确空间频率与对齐性方面表现优异，优于以往方法。
• 该架构支持可扩展的高分辨率图像生成，具备线性内存与运行时间复杂度，可生成任意尺寸的输出。
• 该方法通过无缝拼接生成可平铺纹理，适用于需要大规模纹理拼接的应用。
• 尽管具备诸多优势，当学习包含多种尺度与周期性的高度多样化纹理时，该模型偶尔会出现模式崩溃现象。