[论文解读] BachGAN: High-Resolution Image Synthesis from Salient Object Layout

Yandong Li, Yu Cheng+4 more|arXiv (Cornell University)|Mar 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 5

一句话总结

BachGAN 提出了一项新颖的任务，即从显著物体布局（仅需边界框和物体类别）生成高分辨率图像，通过结合背景检索模块与背景融合模块，实现对逼真、连贯背景的幻觉生成。该方法在 Cityscapes 和 ADE20K 数据集上实现了图像质量和布局对齐的最先进性能，FID 分数和人类偏好研究均优于基线模型。

ABSTRACT

We propose a new task towards more practical application for image generation - high-quality image synthesis from salient object layout. This new setting allows users to provide the layout of salient objects only (i.e., foreground bounding boxes and categories), and lets the model complete the drawing with an invented background and a matching foreground. Two main challenges spring from this new task: (i) how to generate fine-grained details and realistic textures without segmentation map input; and (ii) how to create a background and weave it seamlessly into standalone objects. To tackle this, we propose Background Hallucination Generative Adversarial Network (BachGAN), which first selects a set of segmentation maps from a large candidate pool via a background retrieval module, then encodes these candidate layouts via a background fusion module to hallucinate a suitable background for the given objects. By generating the hallucinated background representation dynamically, our model can synthesize high-resolution images with both photo-realistic foreground and integral background. Experiments on Cityscapes and ADE20K datasets demonstrate the advantage of BachGAN over existing methods, measured on both visual fidelity of generated images and visual alignment between output images and input layouts.

研究动机与目标

• 解决仅提供显著物体边界框和类别作为输入，而无需实例分割图或背景布局时，生成高分辨率、逼真图像的挑战。
• 克服在未提供任何背景信息的情况下生成精细纹理和逼真背景的困难。
• 开发一种动态、实时的背景幻觉机制，可无缝集成至独立的前景物体中。
• 通过逐步向布局中添加物体，实现可控的图像生成，同时保持视觉一致性。

提出的方法

• 背景检索模块根据输入的显著物体布局，从大规模候选集合中选择相关的分割图。
• 背景融合模块对检索到的分割图进行编码，生成与输入布局相匹配的统一幻觉背景表征。
• 通过 SPADE 归一化将融合后的背景表征与前景物体特征结合，在条件生成对抗网络框架中生成高分辨率图像。
• 使用记忆库存储并检索具有代表性的背景布局，以提升生成背景的多样性与真实感。
• 采用对抗损失与感知损失进行端到端训练，以确保图像的高视觉保真度与布局一致性。
• 检索与融合流程实现了无需显式背景标注的动态、上下文感知背景生成。

实验结果

研究问题

• RQ1 当仅提供显著物体边界框和类别，而无任何背景布局或分割图时，生成模型能否生成高分辨率、逼真图像？
• RQ2 当输入中未提供任何背景信息时，模型如何有效幻觉生成真实且连贯的背景？
• RQ3 与直接从布局生成背景相比，检索-融合机制在背景一致性与视觉质量方面能提升多少？
• RQ4 检索的分割图数量与记忆库大小如何影响生成图像的质量与多样性？
• RQ5 模型能否通过逐步向布局中添加物体，实现可控的图像生成，同时保持视觉连贯性？

主要发现

• 在使用五张检索分割图时，BachGAN 在 Cityscapes 数据集上实现了 72.95 的 Fréchet Inception Distance (FID) 分数，表明其图像质量优异。
• 在人类偏好研究中，BachGAN 在与 Layout2im 的对比中获得了 96.0% 的偏好率，表明其在视觉真实感与布局对齐方面表现更优。
• BachGAN 在用户偏好测试中胜过 SPADE（85.5% 胜率）与 SPADE-SEG（71.7% 胜率），在图像质量与用户偏好方面均取得显著提升。
• 使用两倍大小的记忆库（2× size）后，FID 分数从 73.31 降低至 72.50，表明记忆库大小的增加可有效提升性能。
• 消融实验表明，将检索图数量从 3 张增至 5 张可略微改善 FID 分数，但增益有限，因此实际应用中采用 m=3 是合理的。
• BachGAN 对布局操作（如翻转或非标准物体位置）表现出强鲁棒性，能生成合理且连贯的图像，背景逼真自然。