[论文解读] MoVQ: Modulating Quantized Vectors for High-Fidelity Image Generation

Chuanxia Zheng, Long Vuong+2 more|arXiv (Cornell University)|Sep 19, 2022

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

MoVQ 提出了一种调制的 VQGAN 框架，通过在量化向量中引入空间条件归一化，将空间可变信息注入其中，从而减少重复伪影，提升高保真图像生成质量。它进一步通过多通道潜在码表示增强表征能力，并利用 MaskGIT 实现快速先验建模，在不增加计算成本的前提下实现了最先进水平的 FID 分数（ImageNet 上为 1.05，FFHQ 上为 2.26）。

ABSTRACT

Although two-stage Vector Quantized (VQ) generative models allow for synthesizing high-fidelity and high-resolution images, their quantization operator encodes similar patches within an image into the same index, resulting in a repeated artifact for similar adjacent regions using existing decoder architectures. To address this issue, we propose to incorporate the spatially conditional normalization to modulate the quantized vectors so as to insert spatially variant information to the embedded index maps, encouraging the decoder to generate more photorealistic images. Moreover, we use multichannel quantization to increase the recombination capability of the discrete codes without increasing the cost of model and codebook. Additionally, to generate discrete tokens at the second stage, we adopt a Masked Generative Image Transformer (MaskGIT) to learn an underlying prior distribution in the compressed latent space, which is much faster than the conventional autoregressive model. Experiments on two benchmark datasets demonstrate that our proposed modulated VQGAN is able to greatly improve the reconstructed image quality as well as provide high-fidelity image generation.

研究动机与目标

• 解决由于量化导致相似图像块被合并到同一码字而引发的 VQ 基图像生成中重复伪影模式的问题。
• 在不增加模型复杂度或计算成本的前提下，提升图像重建与生成质量。
• 通过在离散空间中引入多通道潜在向量，改善码本利用率和表征能力。
• 利用 MaskGIT 加速第二阶段先验建模，实现在压缩潜在空间中高效自回归生成。

提出的方法

• 引入空间条件归一化，通过量化向量调制解码器激活，将空间可变上下文信息注入其中。
• 采用多通道表征，在保持码本大小不变的同时提升离散码的重组能力。
• 在归一化模块中使用傅里叶特征作为初始空间嵌入，显著优于位置编码或可学习常数。
• 采用 MaskGIT 对潜在空间中的离散标记先验分布进行建模，实现更快、基于置信度的标记预测。
• 保留 VQGAN 的编码器-解码器架构，但通过调制归一化和多通道潜在图进行增强。
• 在通道间共享码本，以维持效率的同时提升表征保真度。

实验结果

研究问题

• RQ1 通过在离散码中注入空间可变信息，空间条件归一化能否有效减少 VQ 基图像生成中的重复伪影？
• RQ2 多通道潜在表征是否能在不增加模型复杂度的前提下提升图像重建与生成质量？
• RQ3 基于傅里叶的空问嵌入是否在归一化模块中优于位置编码或可学习常数嵌入？
• RQ4 在相同压缩率下，MoVQ 与最先进 VQ 基模型相比，在 FID 和重建质量方面表现如何？
• RQ5 MaskGIT 是否能有效加速离散潜在空间中的先验建模，同时保持高保真图像生成？

主要发现

• MoVQ 在 ImageNet 上实现 1.05 的 Fréchet Inception Distance (FID)，在 FFHQ 上实现 2.26，显著优于基线 VQGAN 和最先进模型。
• 在空间条件归一化中使用傅里叶特征表现最佳，相比位置编码使 FID 降低超过 1.5 分。
• 仅使用 1024 个码本条目，MoVQ 的性能即优于标准 VQGAN 中更大的码本，表明码本效率显著提升。
• 采用四通道的多通道表征使 FID 从 11.4 降低至 10.6，证明了更强的表征能力。
• 该模型在保持高重建质量的同时，即使使用小码本也能生成多样且高保真的图像。
• 码本使用效率在 MoVQ 中显著提升，表明相比标准 VQ 基模型，其对离散码的利用更充分。