[论文解读] Generating Multiple Objects at Spatially Distinct Locations

Tobias Hinz, Stefan Heinrich+1 more|arXiv (Cornell University)|Jan 3, 2019

Multimodal Machine Learning Applications参考文献 30被引用 30

一句话总结

该论文提出了一种新型的 GAN 架构，配备专门的对象路径，仅通过边界框和类别标签即可实现对生成图像中多个对象的身份、位置和大小的细粒度控制，而无需完整的语义布局。该方法在 MS-COCO、CLEVR 和 Multi-MNIST 上实现了最先进的图像质量和布局控制性能，通过联合训练一个全局路径以捕捉场景上下文，以及一个对象路径在指定位置迭代生成特定于对象的特征。

ABSTRACT

Recent improvements to Generative Adversarial Networks (GANs) have made it possible to generate realistic images in high resolution based on natural language descriptions such as image captions. Furthermore, conditional GANs allow us to control the image generation process through labels or even natural language descriptions. However, fine-grained control of the image layout, i.e. where in the image specific objects should be located, is still difficult to achieve. This is especially true for images that should contain multiple distinct objects at different spatial locations. We introduce a new approach which allows us to control the location of arbitrarily many objects within an image by adding an object pathway to both the generator and the discriminator. Our approach does not need a detailed semantic layout but only bounding boxes and the respective labels of the desired objects are needed. The object pathway focuses solely on the individual objects and is iteratively applied at the locations specified by the bounding boxes. The global pathway focuses on the image background and the general image layout. We perform experiments on the Multi-MNIST, CLEVR, and the more complex MS-COCO data set. Our experiments show that through the use of the object pathway we can control object locations within images and can model complex scenes with multiple objects at various locations. We further show that the object pathway focuses on the individual objects and learns features relevant for these, while the global pathway focuses on global image characteristics and the image background.

研究动机与目标

• 在不依赖完整语义布局的前提下，实现对生成图像中对象位置的细粒度控制。
• 解决仅使用对象标签和边界框生成包含多个空间上分离对象的复杂场景的挑战。
• 通过将全局场景理解与局部对象表征解耦，提升基于 GAN 的图像生成中图像质量和布局一致性。
• 证明对象路径能够学习特定于对象的特征，而全局路径则专注于背景和整体结构。

提出的方法

• 引入双路径生成器：一个全局路径用于整体场景布局和背景，一个对象路径用于生成单个对象的特征。
• 对象路径在每个指定的对象位置通过其边界框和类别标签迭代应用，以生成局部特征。
• 将两条路径的特征拼接后，通过共享的生成器头生成最终图像。
• 判别器采用类似的双路径结构：全局路径处理整幅图像，对象路径仅关注由边界框和标签定义的区域。
• 模型通过对抗性损失进行端到端训练，判别器评估图像的真实性、与文本的一致性，以及对象位置和身份的正确性。
• 该方法无需学习对象形状或部件分割，仅依赖边界框坐标和类别标签作为输入。

实验结果

研究问题

• RQ1 GAN 模型是否能够在不依赖完整语义布局的前提下，生成在用户指定精确位置的多个对象？
• RQ2 与标准 GAN 相比，辅助对象路径是否能提升生成图像的质量和空间一致性？
• RQ3 对象路径能否学习解耦的、类别特定的特征，而全局路径专注于捕捉背景和场景级上下文？
• RQ4 在重叠边界框或未被边界框捕获的小对象等挑战性条件下，模型表现如何？

主要发现

• 对象路径成功学习到针对各类对象的特定特征，并能将它们准确放置在边界框定义的空间位置上。
• 通过特征可视化和激活分析确认，全局路径专注于背景和整体图像结构，而对象路径则专注于细粒度的对象细节。
• 与使用真实边界框的方法相比，该模型在 MS-COCO 和 CLEVR 上实现了最先进的 FID 和 Inception Score，即使未在边界框内学习对象形状。
• 当禁用对象路径时，模型无法生成清晰的对象，仅生成类似背景的场景，证实其在对象生成中的关键作用。
• 当边界框重叠超过 30% 时，重叠区域出现视觉伪影和不一致现象，表明特征融合策略存在局限性。
• 未被分配边界框的小对象（如草地中的绵羊）通常被完全忽略，即使在图像描述中被提及，这是由于对象路径缺乏输入所致。