[论文解读] FBC-GAN: Diverse and Flexible Image Synthesis via Foreground-Background Composition

Kaiwen Cui, Gongjie Zhang+3 more|arXiv (Cornell University)|Jul 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 61被引用 5

一句话总结

FBC-GAN 提出了一种新颖的 GAN 架构，通过独立合成前景物体和背景场景，再以风格和几何一致性进行组合，生成图像。通过将前景与背景生成解耦，该方法实现了更高的多样性与灵活性，包括跨不同数据集的零样本组合，同时通过自适应风格对齐和几何校正保持了视觉真实感。

ABSTRACT

Generative Adversarial Networks (GANs) have become the de-facto standard in image synthesis. However, without considering the foreground-background decomposition, existing GANs tend to capture excessive content correlation between foreground and background, thus constraining the diversity in image generation. This paper presents a novel Foreground-Background Composition GAN (FBC-GAN) that performs image generation by generating foreground objects and background scenes concurrently and independently, followed by composing them with style and geometrical consistency. With this explicit design, FBC-GAN can generate images with foregrounds and backgrounds that are mutually independent in contents, thus lifting the undesirably learned content correlation constraint and achieving superior diversity. It also provides excellent flexibility by allowing the same foreground object with different background scenes, the same background scene with varying foreground objects, or the same foreground object and background scene with different object positions, sizes and poses. It can compose foreground objects and background scenes sampled from different datasets as well. Extensive experiments over multiple datasets show that FBC-GAN achieves competitive visual realism and superior diversity as compared with state-of-the-art methods.

研究动机与目标

• 解决现有 GAN 在生成多样化图像时因前景与背景之间内容相关性过强而带来的局限性。
• 克服典型 GAN 仅以单步、依赖潜在码的方式生成图像所带来的僵化性。
• 实现对前景与背景内容的独立控制，支持灵活组合，如相同前景搭配不同背景，或反之亦然。
• 在无需成对训练数据的情况下，实现独立生成的前景与背景组件之间的风格与几何一致性。
• 通过组合来自不同数据集的前景与背景，实现零样本图像合成，生成新颖且逼真的组合。

提出的方法

• 将图像生成分解为两个独立分支：前景生成器（FG-Gen）和背景生成器（BG-Gen），每个分支分别由独立的潜在码控制。
• 应用基于 AdaIN 的风格对齐机制，使前景特征适应生成背景的风格，确保视觉和谐。
• 引入形状生成器（S-Gen）以预测前景物体的布局（位置、大小、姿态），并引入背景修饰器（BG-Mod）以调整背景特征，确保几何合理性。
• 使用一个组合模块，通过空间对齐融合生成的前景与背景，同时保持语义与结构一致性。
• 采用端到端训练，损失函数包括对抗性损失、循环一致性损失和感知损失，以确保图像真实感与对齐效果。
• 利用解耦的潜在空间，实现来自不同数据集的前景与背景的零样本组合。

实验结果

研究问题

• RQ1 独立生成前景与背景是否能降低不希望的内容相关性，从而提升图像生成的多样性？
• RQ2 如何在独立生成的前景与背景组件之间强制实现风格与几何一致性？
• RQ3 FBC-GAN 在组合来自不同数据集的前景与背景时，能在多大程度上生成逼真的图像？
• RQ4 所提出的方法是否能在不重新训练或增加额外条件的情况下，灵活控制物体的位置、大小与姿态？
• RQ5 与当前最先进 GAN 方法相比，FBC-GAN 在图像合成中的多样性与真实感表现如何？

主要发现

• 通过解耦前景与背景内容的学习，FBC-GAN 显著提升了图像生成的多样性，减少了虚假共现相关性。
• 风格对齐机制在五个数据集上均显著提升了前景与背景之间的风格相关性（以风格相关性指标衡量）。
• 通过 BG-Mod 实现的几何对齐显著提升了感知质量与几何合理性，定性消融实验表明空间一致性明显改善。
• FBC-GAN 能够成功组合来自不同数据集的前景与背景，生成逼真图像，证明其可生成超越训练数据分布的‘新信息’。
• 该模型实现了相同前景与多个背景的零样本组合，或相同背景与不同前景的组合，包括位置、大小与姿态的变化。
• 定量评估显示，FBC-GAN 在视觉真实感与多样性方面均优于现有方法，尤其在零样本与跨数据集设置下表现突出。