[论文解读] InGAN: Capturing and Remapping the "DNA" of a Natural Image

Assaf Shocher, Shai Bagon+2 more|arXiv (Cornell University)|Dec 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 32

一句话总结

InGAN 提出了一种新颖的无监督图像特定 GAN，能够学习单张自然图像的内部块分布——即其“DNA”——并利用该分布生成任意尺寸、形状和宽高比的新图像，同时保持元素的局部结构、尺度和相对位置。该方法通过多尺度判别器和重建损失，实现单次前向传播即可生成多样化输出，包括非矩形形状的图像。

ABSTRACT

Generative Adversarial Networks (GANs) typically learn a distribution of images in a large image dataset, and are then able to generate new images from this distribution. However, each natural image has its own internal statistics, captured by its unique distribution of patches. In this paper we propose an "Internal GAN" (InGAN) - an image-specific GAN - which trains on a single input image and learns its internal distribution of patches. It is then able to synthesize a plethora of new natural images of significantly different sizes, shapes and aspect-ratios - all with the same internal patch-distribution (same "DNA") as the input image. In particular, despite large changes in global size/shape of the image, all elements inside the image maintain their local size/shape. InGAN is fully unsupervised, requiring no additional data other than the input image itself. Once trained on the input image, it can remap the input to any size or shape in a single feedforward pass, while preserving the same internal patch distribution. InGAN provides a unified framework for a variety of tasks, bridging the gap between textures and natural images.

研究动机与目标

• 为解决在极端图像重定向过程中保持局部图像结构的挑战，尤其是在尺寸、形状或宽高比发生剧烈变化时。
• 开发一种完全无监督的方法，无需外部数据，仅依赖单张输入图像的内部统计特性。
• 通过在多尺度上建模块分布，将纹理和自然图像操作统一于同一框架下。
• 实现通过同一内部“DNA”在单次前向传播中快速生成多样化目标图像，避免为每个目标进行迭代优化。

提出的方法

• InGAN 训练一个生成器，通过几何变换 T 将输入图像映射到任意尺寸/形状的目标图像，同时保持输入图像的内部块分布。
• 使用多尺度判别器来区分来自输入图像的真实块与来自生成图像的虚假块，从而在多尺度上强制匹配分布。
• 采用编码器-编码器生成器架构，并结合 ℓ₁ 重建损失，确保生成器能够从输出中重建输入，从而提升训练稳定性和完整性。
• 该方法使用可逆几何变换（如单应性变换）实现对非矩形输出的重定向，同时保持局部形状和倾斜度。
• 通过对抗损失、重建损失和分布匹配目标端到端训练生成器，以同时保持局部和全局图像结构。
• 该框架完全无监督：无需标签、无需成对数据，也无需外部数据集——仅需输入图像本身。

实验结果

研究问题

• RQ1 能否在单张图像上训练 GAN 以建模其内部块分布，并生成具有相同统计特性的新图像？
• RQ2 如何在全局尺寸或宽高比发生极端变化时，实现不扭曲局部结构的图像重定向？
• RQ3 单个训练好的模型是否能在单次前向传播中生成任意尺寸或形状的多样化目标图像？
• RQ4 当从单张输入图像生成图像时，模型在多大程度上能同时保留细节和大尺度结构？
• RQ5 该框架是否能支持非矩形输出形状，同时保持视觉连贯性和局部结构？

主要发现

• InGAN 能够从单张输入图像成功生成尺寸、形状和宽高比截然不同的新图像，所有图像均保留原始块分布和局部元素结构。
• 消融实验证实，多尺度判别器和重建损失均至关重要：若省略任一组件，均会导致结构崩溃或连贯性丧失。
• InGAN 通过可逆几何变换实现对非矩形形状的重定向，生成类似 3D 视差的视觉效果，而无需进行 3D 重建。
• 与缝合裁剪和双向相似性方法相比，InGAN 避免了大尺度结构的失真，且无需为每个目标求解新的优化问题。
• 尽管效果显著，InGAN 有时会产生语义上不正确的输出，原因在于其仅建模块统计特性，缺乏对对象级语义的理解。
• 该方法在生成图像中实现了高度的视觉连贯性和完整性，经由定性比较和消融研究验证。