[论文解读] GANosaic: Mosaic Creation with Generative Texture Manifolds

Nikolay Jetchev, Urs Bergmann+1 more|arXiv (Cornell University)|Dec 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 7

一句话总结

GANosaic 通过优化周期性空间 GAN（PSGAN）的潜在噪声空间，提出了一种新颖的方法，用于生成高分辨率、无缝的马赛克图像。通过结合感知内容损失与局部噪声通道的可微分统计正则化，该方法在不产生明显拼接边界的情况下，生成具有视觉吸引力且可自然过渡的马赛克图像，实现了线性时间复杂度的大规模、内存高效图像生成。

ABSTRACT

This paper presents a novel framework for generating texture mosaics with convolutional neural networks. Our method is called GANosaic and performs optimization in the latent noise space of a generative texture model, which allows the transformation of a content image into a mosaic exhibiting the visual properties of the underlying texture manifold. To represent that manifold, we use a state-of-the-art generative adversarial method for texture synthesis, which can learn expressive texture representations from data and produce mosaic images with very high resolution. This fully convolutional model generates smooth (without any visible borders) mosaic images which morph and blend different textures locally. In addition, we develop a new type of differentiable statistical regularization appropriate for optimization over the prior noise space of the PSGAN model.

研究动机与目标

• 生成无缝、高分辨率的马赛克图像，自然融合多种纹理，避免可见的拼接边界。
• 从多个示例图像学习的流形中，生成新颖的、可变形的纹理。
• 开发一种可微分正则化方法，使优化后的噪声保持在 PSGAN 先验分布附近，确保纹理质量的美观性。
• 实现高效、可扩展的马赛克生成，具备线性时间复杂度，支持任意大的输出分辨率。
• 通过优化潜在空间而非像素空间，克服现有风格迁移与基于块的方法的局限性。

提出的方法

• 该方法使用预训练的周期性空间 GAN（PSGAN）作为纹理先验，从多个示例图像中建模丰富的多纹理流形。
• 其损失函数结合了感知内容损失（使用 VGG 特征）与一种新颖的、对潜在张量 Z 的局部噪声通道进行可微分纹理正则化的损失。
• 优化过程在潜在噪声张量 Z 上进行，而非像素空间，从而实现高效、高分辨率的图像生成。
• 纹理正则化强制 Z 中局部通道之间的统计独立性，保留流形结构并防止退化纹理的产生。
• 生成器 G 被应用于空间分割的 Z 张量，支持并行计算与超大图像的内存高效处理。
• 内容损失使用特征映射 φ（例如池化层）对内容图像进行下采样，以分离低频内容与高频纹理细节。

实验结果

研究问题

• RQ1 在基于 GAN 的纹理模型潜在空间中进行优化，能否生成无缝、高分辨率的马赛克图像，使纹理自然过渡？
• RQ2 对潜在噪声空间的可微分正则化，如何在优化过程中保持纹理流形的质量？
• RQ3 使用经下采样后的感知损失（通过 φ）在多大程度上提升了马赛克质量与频率分离效果？
• RQ4 该方法是否能无内存限制地扩展到任意大的图像分辨率？
• RQ5 与神经风格迁移相比，GANosaic 在保留纹理表示的同时重建内容的能力如何？

主要发现

• GANosaic 生成的马赛克图像无缝连接，无可见拼接边界，通过平滑的纹理融合实现高视觉质量。
• 该方法支持任意大的输出分辨率，仅受存储限制，得益于对潜在噪声张量的空间可分解优化。
• 可微分纹理正则化确保优化后的噪声保持在 PSGAN 先验分布附近，防止生成退化或不真实的纹理。
• 通过 φ 下采样后的感知损失提升了马赛克质量，使高频内容能从纹理流形中重建。
• 该方法在纹理表示方面优于神经风格迁移，尤其在面部等区域表现更优，因为风格迁移常直接模仿内容像素而非应用纹理。
• 优化过程在不同空间区域收敛至不同的 Z 值，实现局部纹理变化，使其适应内容结构，从而产生自然的马赛克效果。