[论文解读] Generative Adversarial Transformers

Drew A. Hudson, C. Lawrence Zitnick|arXiv (Cornell University)|Mar 1, 2021

Generative Adversarial Networks and Image Synthesis参考文献 66被引用 18

一句话总结

该论文提出 GANformer，一种新型的双流变压器架构，通过自顶向下与自底向上交互迭代优化图像特征和潜在变量，实现了图像生成中高效且长距离的注意力机制。在合成数据集和真实世界数据集上，GANformer 在图像质量、多样性及特征解耦方面均达到当前最优性能，相较于以往的 GAN 和变压器模型，展现出更高的数据效率和更快的收敛速度。

ABSTRACT

We introduce the GANformer, a novel and efficient type of transformer, and explore it for the task of visual generative modeling. The network employs a bipartite structure that enables long-range interactions across the image, while maintaining computation of linear efficiency, that can readily scale to high-resolution synthesis. It iteratively propagates information from a set of latent variables to the evolving visual features and vice versa, to support the refinement of each in light of the other and encourage the emergence of compositional representations of objects and scenes. In contrast to the classic transformer architecture, it utilizes multiplicative integration that allows flexible region-based modulation, and can thus be seen as a generalization of the successful StyleGAN network. We demonstrate the model's strength and robustness through a careful evaluation over a range of datasets, from simulated multi-object environments to rich real-world indoor and outdoor scenes, showing it achieves state-of-the-art results in terms of image quality and diversity, while enjoying fast learning and better data-efficiency. Further qualitative and quantitative experiments offer us an insight into the model's inner workings, revealing improved interpretability and stronger disentanglement, and illustrating the benefits and efficacy of our approach. An implementation of the model is available at https://github.com/dorarad/gansformer.

研究动机与目标

• 解决标准变压器和 CNN 在建模图像生成中长距离依赖关系与组合式场景结构方面的局限性。
• 将自顶向下与自底向上的注意力机制整合进生成建模框架，以提升可解释性与数据效率。
• 开发一种可扩展的基于变压器的架构，在保持线性复杂度的同时实现在高分辨率图像合成中的全局上下文建模。
• 在组合式视觉生成任务（特别是多物体场景）上评估模型性能，并证明其在图像质量、多样性与解耦方面的优越性。

提出的方法

• GANformer 采用双流注意力机制，交替更新图像特征与潜在变量，实现二者之间的双向信息流动。
• 使用乘法融合机制实现灵活的、基于区域的调制，将 StyleGAN 的风格调制推广至多个潜在向量。
• 架构中应用单向与双向注意力操作：单向用于单向（潜在变量到图像）信息流，双向用于双向交互。
• 通过迭代优化两种表示，支持组合式、解耦表示的涌现。
• 通过避免对所有图像标记进行完整自注意力计算，仅依赖一组紧凑的潜在变量作为瓶颈，从而保持线性计算复杂度。
• 采用 GAN 训练目标，其中生成器使用双流变压器，判别器则处理真实图像与生成图像。

实验结果

研究问题

• RQ1 是否可通过潜在变量与图像特征之间迭代、双向优化的双流变压器架构，提升图像生成的质量与多样性？
• RQ2 所提出的注意力机制是否能更好地实现多物体场景中语义因子（如物体身份、位置、大小）的解耦？
• RQ3 与标准 GAN 和变压器相比，GANformer 在数据效率与训练速度方面提升了多少？
• RQ4 模型内部的注意力机制在多大程度上反映了场景结构的组合式与可解释性表征？

主要发现

• 在 CLEVR 数据集上，GANformer 达到 2.887 的 Fréchet Inception Distance (FID) 得分，显著优于 StyleGAN (6.435) 及其他基线模型。
• 在 CLEVR 数据集上，GANformer 的 DCI 解耦得分达到 0.768，模块化得分达到 0.952，表明潜在因子与图像属性之间具有极强的解耦能力。
• 该模型展现出更优的图像多样性，卡方统计检验显示其在多物体场景中对语义属性均匀分布的覆盖更佳。
• 消融实验表明，更早地应用注意力机制并扩展至更多层，可进一步提升性能并加速训练，证实了长距离交互的重要性。
• GANformer 所需的训练步数更少，且在更少的数据样本下即可收敛至高质量结果，展现出更高的数据效率。
• 注意力图可视化结果呈现出一致、局部化且可解释的注意力模式，与物体级结构高度对齐，支持模型的组合式推理能力。