[论文解读] Internal Distribution Matching for Natural Image Retargeting.

Assaf Shocher, Shai Bagon+2 more|arXiv (Cornell University)|Dec 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 10

一句话总结

本文提出 InGAN，一种自监督生成对抗网络，可学习单张自然图像的内部块分布，并在保持局部结构的前提下，生成多样且高质量的、尺寸和长宽比各异的图像。该方法仅通过输入图像进行训练，即可实现无监督图像重定域，所有生成结果均保留其内部统计特征。

ABSTRACT

Generative Adversarial Networks (GANs) typically learn a distribution of images in a large image dataset, and are then able to generate new images from this distribution. However, each natural image has its own internal statistics, captured by its unique distribution of patches. In this paper we propose an Internal (InGAN) - an image-specific GAN - which trains on a single input image and learns its internal distribution of patches. It is then able to synthesize a plethora of new natural images of significantly different sizes, shapes and aspect-ratios - all with the same internal patch-distribution (same DNA) as the input image. In particular, despite large changes in global size/shape of the image, all elements inside the image maintain their local size/shape. InGAN is fully unsupervised, requiring no additional data other than the input image itself. Once trained on the input image, it can remap the input to any size or shape in a single feedforward pass, while preserving the same internal patch distribution. InGAN provides a unified framework for a variety of tasks, bridging the gap between textures and natural images.

研究动机与目标

• 解决自然图像重定域问题，且无需外部数据集或成对训练数据。
• 学习并保留单张输入图像内部块的统计分布，以实现多样化图像生成。
• 通过实现具有一致局部结构的无监督图像合成，统一纹理与自然图像生成。
• 开发一种完全无监督的框架，仅通过一次前向传播即可将输入图像映射到任意尺寸或形状。

提出的方法

• 仅在从单张输入图像中采样的块上训练 GAN，以学习其内部分布。
• 使用生成器网络合成与输入图像内部块统计特性相匹配的新图像。
• 采用判别器区分来自同一输入图像的真实块与生成块。
• 优化生成器，使其生成的图像中局部块分布与原始输入图像一致。
• 通过优化生成器的潜在代码，使其匹配目标尺寸，从而实现图像重定域，同时保持内部分布。
• 在模型训练完成后，通过一次前向传播即可实现推理，无需重新训练。

实验结果

研究问题

• RQ1 能否仅在单张图像上训练 GAN，以学习其内部块分布？
• RQ2 该模型能否在保留局部结构的前提下，生成尺寸和长宽比各不相同的图像？
• RQ3 在不同全局尺寸的生成图像中，其内部块分布是否保持一致？
• RQ4 该方法能否在无需外部数据或监督的情况下实现无监督图像重定域？

主要发现

• InGAN 成功在无任何外部数据的情况下，学习了单张输入图像的内部块分布。
• 该模型可生成与原始图像尺寸和长宽比显著不同的图像，同时保持局部结构与纹理一致性。
• 所有生成图像均保持与输入图像相同的内部块分布，有效保留了图像的“DNA”。
• 该框架在训练后可实现快速、单次前向传播的图像重定域，适用于实际应用。