[论文解读] InfinityGAN: Towards Infinite-Resolution Image Synthesis.

Chieh Hubert Lin, Hsin-Ying Lee+3 more|arXiv (Cornell University)|Apr 8, 2021

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

InfinityGAN 提出了一种基于图像块的生成对抗网络，能够在计算成本较低的情况下实现任意分辨率的图像生成，同时保持优异的全局一致性与局部细节。通过分块训练与推理，并联合建模全局外观与局部纹理，该方法实现了超越以往限制的高分辨率、可并行生成。

ABSTRACT

We present InfinityGAN, a method to generate arbitrary-resolution images. The problem is associated with several key challenges. First, scaling existing models to a high resolution is resource-constrained, both in terms of computation and availability of high-resolution training data. Infinity-GAN trains and infers patch-by-patch seamlessly with low computational resources. Second, large images should be locally and globally consistent, avoid repetitive patterns, and look realistic. To address these, InfinityGAN takes global appearance, local structure and texture into account.With this formulation, we can generate images with resolution and level of detail not attainable before. Experimental evaluation supports that InfinityGAN generates imageswith superior global structure compared to baselines at the same time featuring parallelizable inference. Finally, we how several applications unlocked by our approach, such as fusing styles spatially, multi-modal outpainting and image inbetweening at arbitrary input and output resolutions

研究动机与目标

• 解决训练高分辨率图像生成器时面临的计算与数据限制。
• 实现在不依赖大规模训练数据集或过度计算资源的前提下，无缝生成高分辨率图像。
• 在任意分辨率下保持生成图像的全局连贯性与局部纹理的真实性。
• 支持新型应用，如任意分辨率下的多模态外补绘（outpainting）与插值生成（inbetweening）。

提出的方法

• InfinityGAN 采用分块训练与推理方式，降低单次生成的计算负载。
• 通过联合建模全局外观与局部结构/纹理，确保各图像块之间的连贯性。
• 采用基于图像块的 GAN 框架，在生成过程中保持空间一致性。
• 通过将图像生成解耦为独立的图像块操作，实现可并行推理。
• 通过可扩展的图像块组合机制，支持任意输出分辨率。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否在计算资源极少的情况下，生成具有稳定全局结构与精细局部细节的高分辨率图像？
• RQ2 分块生成方法如何在不产生重复模式的前提下，保持大尺寸图像的全局连贯性？
• RQ3 该模型在图像生成任务中，能在多大程度上支持任意输入与输出分辨率？
• RQ4 无限分辨率生成能力将使哪些新型图像生成应用成为可能？

主要发现

• 在相同分辨率下，InfinityGAN 生成图像的全局结构一致性优于现有基线模型。
• 该模型支持可并行推理，显著缩短单张图像的生成时间。
• 其支持的高分辨率图像生成能力超越了以往方法的限制，且感知质量更优。
• 成功演示了诸如空间风格融合、多模态外补绘与图像插值等新型应用在任意分辨率下的实现。