[论文解读] COCO-GAN: Generation by Parts via Conditional Coordinating

Chieh Hubert Lin, Chia-Che Chang+4 more|arXiv (Cornell University)|Mar 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 11

一句话总结

COCO-GAN 提出了一种条件生成模型，通过基于空间坐标的生成与拼接小图像块来合成高保真图像，从而在训练过程中从不生成完整图像，实现了最先进的图像质量。该方法实现了多项新颖能力，如超出边界生成、具有循环拓扑的全景图像合成，以及通过坐标感知的分而治之训练范式实现按需生成图像块。

ABSTRACT

Humans can only interact with part of the surrounding environment due to biological restrictions. Therefore, we learn to reason the spatial relationships across a series of observations to piece together the surrounding environment. Inspired by such behavior and the fact that machines also have computational constraints, we propose \underline{CO}nditional \underline{CO}ordinate GAN (COCO-GAN) of which the generator generates images by parts based on their spatial coordinates as the condition. On the other hand, the discriminator learns to justify realism across multiple assembled patches by global coherence, local appearance, and edge-crossing continuity. Despite the full images are never generated during training, we show that COCO-GAN can produce extbf{state-of-the-art-quality} full images during inference. We further demonstrate a variety of novel applications enabled by teaching the network to be aware of coordinates. First, we perform extrapolation to the learned coordinate manifold and generate off-the-boundary patches. Combining with the originally generated full image, COCO-GAN can produce images that are larger than training samples, which we called "beyond-boundary generation". We then showcase panorama generation within a cylindrical coordinate system that inherently preserves horizontally cyclic topology. On the computation side, COCO-GAN has a built-in divide-and-conquer paradigm that reduces memory requisition during training and inference, provides high-parallelism, and can generate parts of images on-demand.

研究动机与目标

• 开发一种生成模型，通过基于空间坐标的图像块生成与拼接，生成连贯的完整图像。
• 通过实现并行、内存高效的训练与推理，克服大视场图像生成中的计算瓶颈。
• 实现新型图像生成能力，如超越训练边界的外推生成与循环全景图像合成。
• 在训练过程中无需完整图像监督，确保拼接图像块之间的全局连贯性与局部一致性。
• 支持资源受限环境（如移动设备和虚拟现实）下的按需生成与图像块引导生成。

提出的方法

• 生成器基于潜在向量和每个图像块的空间坐标生成微小图像块，采用坐标条件 GAN 框架。
• 判别器评估宏图像块中相邻图像块之间的全局连贯性、局部外观一致性以及边缘交叉连续性。
• 采用分而治之的训练策略，将图像生成分解为独立的图像块生成任务，降低内存占用并实现高并行性。
• 模型采用双重目标进行训练：对抗性损失以提升真实感，以及坐标预测头以强化空间感知能力。
• 通过在生成时对超出边界的空间坐标进行条件控制，实现坐标外推，从而生成大于训练数据尺寸的图像。
• 通过在训练期间应用圆柱坐标，实现全景图像生成，从而在输出中保持水平方向的循环连续性。

实验结果

研究问题

• RQ1 GAN 是否能够仅通过基于空间坐标的局部图像块生成，实现全局连贯的完整图像？
• RQ2 模型是否可通过坐标外推泛化至生成大于训练数据分布尺寸的图像？
• RQ3 模型是否能在全景图像生成中保持如水平循环连续性等拓扑特性？
• RQ4 坐标条件是否能够实现高效、按需且内存优化的图像生成，适用于边缘设备？
• RQ5 模型是否能够通过从部分真实图像中重建潜在向量，实现图像块引导的图像生成？

主要发现

• COCO-GAN 在多个基准测试中（包括 CelebA 128×128 和 LSUN 256×256）实现了最先进的 Fréchet Inception Distance (FID) 得分，证明了其高质量的图像合成能力。
• 即使图像块小至 4×4 像素，模型仍能将 1024 个图像块拼接成完整且合理的面部图像，表明其具备强大的空间推理能力。
• 模型成功实现超越边界的图像生成，生成了 384×384 的图像，尺寸超过 256×256 的训练样本，所有生成样本均为新颖且连贯的。
• 使用圆柱坐标生成的全景图像在视觉检查和插值结果中均表现出正确的水平循环拓扑结构。
• 训练过程稳定，Wasserstein 距离与 FID 值随时间持续下降，表明模型收敛可靠。
• 图像块引导的生成可实现从单个真实宏图像块重建完整图像，模型能预测空间坐标并生成全局连贯的补全结果。