[論文レビュー] MoVQ: Modulating Quantized Vectors for High-Fidelity Image Generation

Chuanxia Zheng, Long Vuong+2 more|arXiv (Cornell University)|Sep 19, 2022

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

MoVQは、空間的に可変な情報を量子化されたベクトルに注入するために空間的条件付き正規化を導入するモodulated VQGANフレームワークを提案する。これにより、繰り返し発生するアーティファクトが低減され、高精細な画像生成が向上する。さらに、マルチチャネル潜在コードを用いて表現能力を向上させ、MaskGITを活用して高速な事前分布モデリングを実現し、計算コストを増加させることなく最先端のFIDスコア（ImageNetでは1.05、FFHQでは2.26）を達成した。

ABSTRACT

Although two-stage Vector Quantized (VQ) generative models allow for synthesizing high-fidelity and high-resolution images, their quantization operator encodes similar patches within an image into the same index, resulting in a repeated artifact for similar adjacent regions using existing decoder architectures. To address this issue, we propose to incorporate the spatially conditional normalization to modulate the quantized vectors so as to insert spatially variant information to the embedded index maps, encouraging the decoder to generate more photorealistic images. Moreover, we use multichannel quantization to increase the recombination capability of the discrete codes without increasing the cost of model and codebook. Additionally, to generate discrete tokens at the second stage, we adopt a Masked Generative Image Transformer (MaskGIT) to learn an underlying prior distribution in the compressed latent space, which is much faster than the conventional autoregressive model. Experiments on two benchmark datasets demonstrate that our proposed modulated VQGAN is able to greatly improve the reconstructed image quality as well as provide high-fidelity image generation.

研究の動機と目的

• 量子化による類似パッチが同じコードに統合されることで生じるVQベースの画像生成における繰り返しアーティファクトパターンの問題を解決すること。
• モデルの複雑さや計算コストを増加させることなく、画像再構成および生成品質を向上させること。
• 離散空間におけるマルチチャネル潜在ベクトルを用いてコードブックの利用効率と表現能力を向上させること。
• 圧縮された潜在空間における効率的な自己回帰的生成を可能にするために、MaskGITを用いて2段階目の事前分布モデリングを高速化すること。

提案手法

• 量子化されたベクトルを用いてデコーダの活性化を変調する空間的条件付き正規化を導入し、空間的に可変なコンテキストを注入する。
• コードブックのサイズを固定したまま、離散コードの再結合能力を向上させるためにマルチチャネル表現を採用する。
• 正規化モジュールの初期空間的埋め込みとしてフーリエ特徴量を用い、位置エンコーディングや学習可能な定数と比較して顕著に優れた性能を発揮する。
• 離散トークンの潜在空間における事前分布をモデリングするためにMaskGITを採用し、信頼度に基づいたトークン予測を高速化する。
• VQGANのエンコーダ・デコーダアーキテクチャを維持しつつ、変調された正規化とマルチチャネル潜在マップを統合する。
• 複数のチャネルにまたがる共有コードブックを活用することで、効率性を保ちながら表現の正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 空間的条件付き正規化により、離散コードに空間的に可変な情報を注入することで、VQベースの画像生成における繰り返しアーティファクトを低減できるか？
• RQ2 マルチチャネル潜在表現は、モデルの複雑さを増加させずに画像再構成および生成品質を向上させられるか？
• RQ3 正規化モジュールにおいて、フーリエベースの空間的埋め込みは、位置エンコーディングや学習可能な定数埋め込みを上回る性能を示すか？
• RQ4 同じ圧縮比のもとで、MoVQは最先端のVQベースのモデルと比較してFIDおよび再構成品質において優れているか？
• RQ5 MaskGITは、高精細な生成を維持しつつ、離散潜在空間における事前分布モデリングを効果的に高速化できるか？

主な発見

• MoVQはImageNetで1.05、FFHQで2.26というFIDスコアを達成し、ベースラインのVQGANおよび最先端モデルを顕著に上回った。
• 空間的条件付き正規化におけるフーリエ特徴量の使用が最良の性能を示し、位置エンコーディングと比較してFIDが1.5ポイント以上低減した。
• コードブックに1024のエントリしか使用しなくても、標準VQGANにおけるより大きなコードブックと比較して優れた結果を達成した。これは、コードブックの効率性が向上したことを示している。
• 4チャネルのマルチチャネル表現により、FIDは11.4から10.6に低下し、表現能力の向上が実証された。
• 小さなコードブックでも、高い再構成品質を維持し、多様で高精細な画像を生成できた。
• コードブックの使用効率が顕著に向上しており、標準のVQベースのモデルと比較して離散コードの利用がより効果的であることが示された。