[论文解读] In&Out : Diverse Image Outpainting via GAN Inversion

Yen-Chi Cheng, Chieh Hubert Lin+4 more|arXiv (Cornell University)|Apr 1, 2021

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 4

一句话总结

本文提出 In&Out，一种基于 GAN 反演的框架，用于生成语义一致、高质量的图像外延扩展，能够超越输入图像边界生成内容。通过在空间坐标上条件化微小图像块的生成，并优化多个潜在代码，该方法实现了高视觉质量、结构多样性以及用户可控的类别化外延，且无纹理重复现象。

ABSTRACT

Image outpainting seeks for a semantically consistent extension of the input image beyond its available content. Compared to inpainting -- filling in missing pixels in a way coherent with the neighboring pixels -- outpainting can be achieved in more diverse ways since the problem is less constrained by the surrounding pixels. Existing image outpainting methods pose the problem as a conditional image-to-image translation task, often generating repetitive structures and textures by replicating the content available in the input image. In this work, we formulate the problem from the perspective of inverting generative adversarial networks. Our generator renders micro-patches conditioned on their joint latent code as well as their individual positions in the image. To outpaint an image, we seek for multiple latent codes not only recovering available patches but also synthesizing diverse outpainting by patch-based generation. This leads to richer structure and content in the outpainted regions. Furthermore, our formulation allows for outpainting conditioned on the categorical input, thereby enabling flexible user controls. Extensive experimental results demonstrate the proposed method performs favorably against existing in- and outpainting methods, featuring higher visual quality and diversity.

研究动机与目标

• 解决现有图像外延方法因依赖确定性、上下文泄漏的图像到图像翻译而导致纹理重复且缺乏多样性的局限性。
• 通过将问题建模为基于坐标条件化的微小图像块生成的 GAN 反演，实现多模态、多样化的外延。
• 通过类别条件化实现灵活的用户控制，以实现目标场景的扩展。
• 在无伪影或边界接缝的前提下，实现高保真度、结构丰富的外延。
• 通过递归外延实现全景图像生成，且重复模式极少。

提出的方法

• 训练一个修改后的 StyleGAN2 生成器，使其基于共享的全局潜在代码和单个图像块坐标，生成空间一致的微小图像块。
• 外延过程涉及对生成器进行反演，以找到能够重建输入图像并同时在扩展区域合成多样化内容的多个潜在代码。
• 采用多损失优化框架，包括重建损失、感知损失以及促进多样性的损失（Lms 和 Ldiv），以平衡真实感与多样性。
• 通过先验正则化损失（Lprior）确保反演得到的潜在代码保持在预训练生成器的流形内，防止伪影和分布漂移。
• 通过在生成器上引入类别标签条件化，实现对特定对象或场景元素在扩展区域内的可控生成。
• 通过将先前生成的外延微小图像块视为新的反演目标，实现递归外延，从而支持全景图像合成。

实验结果

研究问题

• RQ1 GAN 反演能否被有效用于生成超越输入图像边界的多样化、高质量图像外延？
• RQ2 在不依赖确定性图像到图像翻译的前提下，如何实现在图像外延中的多模态生成？
• RQ3 基于坐标的微小图像块生成能否实现结构化、非重复的外延，并保持高度的语义一致性？
• RQ4 用户可控的类别条件在多大程度上能引导外延区域的结构与内容？
• RQ5 通过反演实现的递归外延能否生成复杂、大规模的全景图，且无重复模式？

主要发现

• 与基线方法相比，所提方法在视觉质量与多样性方面表现更优，伪影更少，场景扩展更逼真。
• Lprior 的引入显著提升了真实感，通过防止分布漂移，避免了外延区域出现可见接缝或输入内容复制。
• 多样性损失（Lms 和 Ldiv）有效促进了不同潜在代码的生成，从而实现多样化的外延结果，同时不损害重建质量。
• 类别外延支持目标场景编辑，例如根据用户提供的类别标签插入特定对象或修改景观结构。
• 递归外延成功生成了高质量的全景图，具有丰富的结构复杂性且重复模式极少。
• 用户研究与 FID 分数表明，In&Out 在真实感方面优于现有方法，而 LPIPS 分数则显示多样性有显著提升。