[论文解读] Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers

Yanhong Zeng, Huan Yang+3 more|arXiv (Cornell University)|Nov 5, 2021

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 11

一句话总结

该论文提出TokenGAN，一种基于Transformer的生成器，通过内容令牌和风格令牌将图像合成问题转化为视觉令牌生成。通过在Transformer中利用自注意力和交叉注意力机制，实现内容感知的细粒度风格控制，TokenGAN在无卷积的情况下实现了SOTA的FID分数，并生成了高保真度的$1024\times1024$图像。

ABSTRACT

We present a new perspective of achieving image synthesis by viewing this task as a visual token generation problem. Different from existing paradigms that directly synthesize a full image from a single input (e.g., a latent code), the new formulation enables a flexible local manipulation for different image regions, which makes it possible to learn content-aware and fine-grained style control for image synthesis. Specifically, it takes as input a sequence of latent tokens to predict the visual tokens for synthesizing an image. Under this perspective, we propose a token-based generator (i.e.,TokenGAN). Particularly, the TokenGAN inputs two semantically different visual tokens, i.e., the learned constant content tokens and the style tokens from the latent space. Given a sequence of style tokens, the TokenGAN is able to control the image synthesis by assigning the styles to the content tokens by attention mechanism with a Transformer. We conduct extensive experiments and show that the proposed TokenGAN has achieved state-of-the-art results on several widely-used image synthesis benchmarks, including FFHQ and LSUN CHURCH with different resolutions. In particular, the generator is able to synthesize high-fidelity images with 1024x1024 size, dispensing with convolutions entirely.

研究动机与目标

• 为解决基于风格的生成器在风格控制耦合和内容无关归一化方面的局限性。
• 探索将图像合成视为视觉令牌生成问题，以提升局部和细粒度的风格操控能力。
• 设计一种通过学习到的风格和内容令牌实现内容感知、注意力驱动的风格迁移的生成器。
• 在高分辨率（如1024×1024）下实现高保真度的图像合成，且不使用卷积层。

提出的方法

• 生成器使用两类学习到的潜在令牌：每张图像固定的**内容令牌**和从潜在空间投影得到的**风格令牌**。
• 视觉Transformer通过内容令牌与风格令牌之间的交叉注意力，实现区域条件化的图像生成。
• 内容令牌具有空间位置信息，表示图像块，而风格令牌为每个块编码风格嵌入。
• 模型采用LayerNorm进行风格归一化，在消融实验中优于InstanceNorm和PixelNorm。
• 生成器通过对抗损失与判别器联合训练，映射网络将噪声映射为风格令牌。
• 整个架构完全基于Transformer，彻底摒弃了卷积层。

实验结果

研究问题

• RQ1 图像合成能否被有效重述为视觉令牌生成任务，以改善局部风格控制？
• RQ2 通过Transformer中的交叉注意力实现的内容感知风格建模，相比全局AdaIN风格注入，在图像质量上表现如何提升？
• RQ3 高分辨率图像合成中，最优的风格令牌和内容令牌数量是多少？
• RQ4 归一化层的选择如何影响基于令牌的生成器的性能？
• RQ5 潜在空间能否支持在高层属性（如发型或面部表情）上实现感知上平滑的插值？

主要发现

• 在FFHQ-256数据集上，TokenGAN的Fréchet Inception Distance（FID）达到6.81，优于使用32个风格令牌的StyleGAN2（FID 7.66）。
• 该模型在不使用任何卷积层的情况下生成了高保真度的$1024\times1024$图像，证明了纯Transformer架构在图像合成中的可行性。
• 在风格令牌空间中的线性插值能产生在眼镜、年龄和发长等属性上感知平滑的过渡效果。
• 使用32个风格令牌时性能最佳；增加至64个会导致训练不稳定并引起性能下降。
• 在消融实验中，LayerNorm在风格归一化中表现最优，实现了最低的FID（6.81）。