[论文解读] Compositional GAN: Learning Conditional Image Composition

Samaneh Azadi, Deepak Pathak+2 more|arXiv (Cornell University)|Jul 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 26

一句话总结

本文提出组合式 GAN（Compositional GAN），一种条件生成对抗网络框架，通过学习一个自洽的组合-分解网络，建模图像生成过程中多个物体之间的空间交互。该方法即使在训练数据未配对的情况下，也能从边缘分布中抽取的物体图像生成逼真且结构合理的组合场景，并通过定性分析和用户评估，有效建模遮挡、缩放和空间布局等复杂交互。

ABSTRACT

Generative Adversarial Networks (GANs) can produce images of surprising complexity and realism, but are generally modeled to sample from a single latent source ignoring the explicit spatial interaction between multiple entities that could be present in a scene. Capturing such complex interactions between different objects in the world, including their relative scaling, spatial layout, occlusion, or viewpoint transformation is a challenging problem. In this work, we propose to model object composition in a GAN framework as a self-consistent composition-decomposition network. Our model is conditioned on the object images from their marginal distributions to generate a realistic image from their joint distribution by explicitly learning the possible interactions. We evaluate our model through qualitative experiments and user evaluations in both the scenarios when either paired or unpaired examples for the individual object images and the joint scenes are given during training. Our results reveal that the learned model captures potential interactions between the two object domains given as input to output new instances of composed scene at test time in a reasonable fashion.

研究动机与目标

• 解决现有 GAN 在建模场景中多个物体之间显式空间交互方面的局限性。
• 实现在条件图像生成中，输出场景由来自其边缘分布的单个物体图像组合而成。
• 在无需成对训练样本（即物体对及其组合场景的配对）的情况下，学习物体组合的联合分布。
• 在生成图像中建模复杂的交互行为，如遮挡、相对缩放、空间布局及视角变换。

提出的方法

• 该模型采用自洽的组合-分解网络，通过在将物体图像组合成场景与将场景分解回其组成物体之间交替进行。
• 通过从其边缘分布中采样物体图像进行条件生成，使模型能够学习有意义的组合方式。
• 框架采用对抗训练以确保生成图像的逼真性，而组合-分解循环则强制保证结构一致性。
• 模型使用配对和未配对数据进行训练，使其能够泛化于不同的训练数据设置。
• 通过可微分的组合机制显式建模空间交互，如遮挡和相对位置。

实验结果

研究问题

• RQ1 在无需配对训练数据的情况下，GAN 框架能否有效建模图像生成过程中多个物体之间的空间交互？
• RQ2 当仅提供单个物体和组合场景的未配对样本时，该模型在生成逼真组合场景方面的泛化能力如何？
• RQ3 自洽的组合-分解机制在多大程度上提升了生成场景的逼真度与结构一致性？
• RQ4 该模型在组合场景中对遮挡、缩放和视角变化等复杂交互的捕捉能力如何？

主要发现

• 即使在训练过程中未提供任何配对样本，该模型仍能成功地从边缘分布中抽取的物体图像生成逼真且结构合理的组合场景。
• 用户评估结果表明，生成的组合在空间关系上被认为是合理且连贯的，具有逼真的物体间空间关系。
• 定性结果表明，该模型以合理且一致的方式捕捉了遮挡和相对缩放等复杂交互。
• 与基线 GAN 相比，自洽的组合-分解机制显著提升了生成图像的结构保真度。
• 该模型在不同物体领域间具有良好的泛化能力，并在空间布局和物体关系上保持了高度一致性。