[论文解读] Compositional Transformers for Scene Generation

Drew A. Hudson, C. Lawrence Zitnick|arXiv (Cornell University)|Nov 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 74被引用 11

一句话总结

GANformer2 提出了一种两阶段、面向对象的变换器，用于组合式场景生成，首先通过迭代的物体级优化规划高层次布局，然后通过二部注意力生成逼真的图像。该方法在 CLEVR 和 COCO 数据集上实现了图像质量、多样性与语义一致性的最先进性能，通过显式结构先验提升了特征解耦与可解释性。

ABSTRACT

We introduce the GANformer2 model, an iterative object-oriented transformer, explored for the task of generative modeling. The network incorporates strong and explicit structural priors, to reflect the compositional nature of visual scenes, and synthesizes images through a sequential process. It operates in two stages: a fast and lightweight planning phase, where we draft a high-level scene layout, followed by an attention-based execution phase, where the layout is being refined, evolving into a rich and detailed picture. Our model moves away from conventional black-box GAN architectures that feature a flat and monolithic latent space towards a transparent design that encourages efficiency, controllability and interpretability. We demonstrate GANformer2's strengths and qualities through a careful evaluation over a range of datasets, from multi-object CLEVR scenes to the challenging COCO images, showing it successfully achieves state-of-the-art performance in terms of visual quality, diversity and consistency. Further experiments demonstrate the model's disentanglement and provide a deeper insight into its generative process, as it proceeds step-by-step from a rough initial sketch, to a detailed layout that accounts for objects' depths and dependencies, and up to the final high-resolution depiction of vibrant and intricate real-world scenes. See https://github.com/dorarad/gansformer for model implementation.

研究动机与目标

• 为解决传统 GAN 在建模复杂、多物体场景时存在的可控性差与可解释性低的局限性。
• 通过显式建模物体及其空间、语义与关系依赖，实现结构化、分层的图像生成。
• 通过在透明、迭代的过程中分离结构（布局）与风格（外观），提升特征解耦与控制能力。
• 在合成与真实世界数据集上，证明模型在保真度、多样性与一致性方面达到最先进性能。
• 通过在自预测全景分割上进行训练（而非真实标注），验证模型的鲁棒性。

提出的方法

• 该模型使用一组可学习的潜在变量，每个变量代表场景中的一个物体或实体，并关联其结构与风格。
• 在规划阶段，模型通过关注物体潜在变量，迭代构建高层次场景布局，并优化其空间位置、形状与相对顺序。
• 在执行阶段，通过二部注意力将布局细化为逼真图像，其中每个潜在变量引导其对应区域的内容与风格。
• 生成器采用非饱和 GAN 损失与懒惰 R1 正则化进行训练，使用带有均衡学习率与指数移动平均的 Adam 优化器。
• 判别器通过结构化损失增强，以促进组合性保真度，同时借鉴 StyleGAN2 的技术，包括风格混合与小批量标准差。
• 模型在 $256 \times 256$ 图像上进行训练，采用梯度累积，潜在维度与 R1 因子经调优以确保稳定性和性能。

实验结果

研究问题

• RQ1 基于显式物体级潜在变量的两阶段变换器生成器，是否能在复杂多物体场景生成中超越标准 GAN？
• RQ2 迭代规划与执行过程在多大程度上提升了结构与风格的解耦？
• RQ3 当在自预测分割上进行训练时，该模型在 COCO 等具有挑战性且多样的数据集上泛化能力如何？
• RQ4 该模型是否表现出对被遮挡物体的非模态补全，表明其具备对场景组合的推理能力？
• RQ5 该模型能否在无条件与有条件图像生成中均实现最先进性能，以保真度、多样性与一致性为衡量标准？

主要发现

• GANformer2 在 CLEVR 与 COCO 数据集上均达到最先进 FID 分数，相比基线模型（包括 StyleGAN2 与 GANformer）展现出更优的图像质量与多样性。
• 模型表现出强大的语义一致性，即使在 COCO p 分区（隔离组合复杂性与视觉多样性）上也能生成高质量图像。
• 消融实验表明，两阶段设计显著提升了特征解耦，实现了对物体位置与属性的独立控制。
• 模型表现出对被遮挡物体的非模态补全，表明其隐式具备对物体几何与场景结构的推理能力。
• 在自预测分割上进行训练即可获得优异性能，证明了模型的鲁棒性，并减少了对昂贵真实标注的依赖。
• 执行阶段的性能与强条件模型（如 Pix2PixHD 与 SPADE）相当或更优，尤其在生成细节丰富、连贯的场景方面表现突出。