[論文レビュー] Vector Quantized Diffusion Model for Text-to-Image Synthesis

Shuyang Gu, Dong Chen+6 more|arXiv (Cornell University)|Nov 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 40

ひとこと要約

本論文は VQ-Diffusion を提案する。VQ-VAE 潜在空間での離散拡散モデルによるテキストから画像生成において、マスクと置換の拡散戦略と再パラメータ化を通じて、自己回帰法より推論が高速で最先端品質を達成する。

ABSTRACT

We present the vector quantized diffusion (VQ-Diffusion) model for text-to-image generation. This method is based on a vector quantized variational autoencoder (VQ-VAE) whose latent space is modeled by a conditional variant of the recently developed Denoising Diffusion Probabilistic Model (DDPM). We find that this latent-space method is well-suited for text-to-image generation tasks because it not only eliminates the unidirectional bias with existing methods but also allows us to incorporate a mask-and-replace diffusion strategy to avoid the accumulation of errors, which is a serious problem with existing methods. Our experiments show that the VQ-Diffusion produces significantly better text-to-image generation results when compared with conventional autoregressive (AR) models with similar numbers of parameters. Compared with previous GAN-based text-to-image methods, our VQ-Diffusion can handle more complex scenes and improve the synthesized image quality by a large margin. Finally, we show that the image generation computation in our method can be made highly efficient by reparameterization. With traditional AR methods, the text-to-image generation time increases linearly with the output image resolution and hence is quite time consuming even for normal size images. The VQ-Diffusion allows us to achieve a better trade-off between quality and speed. Our experiments indicate that the VQ-Diffusion model with the reparameterization is fifteen times faster than traditional AR methods while achieving a better image quality.

研究の動機と目的

• テキストから画像生成手法の一方向性バイアスを解消する。
• 離散潜在空間でのマスク-and-replace 拡散を用いて誤差蓄積を排除する。
• 再パラメータ化による効率的な推論で高品質な画像合成を達成する。
• CUB-200 から MSCOCO、そして大規模 LAION に至るデータセットでのスケーラビリティを示す。
• 条件付きおよび無条件の画像生成の統一フレームワークを提供する。

提案手法

• VQ-VAE を用いて画像を潜在空間の離散トークンへマッピングする。
• 変換器ベースのリバースモデルを用いた条件付き離散拡散過程で潜在空間をモデル化する。
• トークンをマスクおよび/または置換して学習を導き、誤差蓄積を抑制するマスク-and-replace 拡散を導入する。
• 再構成品質を改善するために変分下限 (VLB) と補助的ノイズレストークン目的を用いて訓練する。
• 無ノイズトークンを予測する再パラメータ化トリックを採用し、拡散ステップを減らすことで推論を高速化する。
• AdaLN を用いてデコーディングへ timestep 条件付けを注入するエンコーダ-デコーダー変換器アーキテクチャを活用する。

実験結果

リサーチクエスチョン

• RQ1 VQ-Diffusion は同程度のパラメータ数の autoregressive および GAN ベースの手法に対してテキストから画像生成の品質を改善するか。
• RQ2 マスクと置換の拡散戦略は離散拡散における誤差蓄積を減らし、テキスト条件付き画像生成の収束を加速するか。
• RQ3 再パラメータ化と高速推論戦略は品質を損なうことなく桁違いの速度向上を提供できるか。
• RQ4 この手法は大規模データセットへのスケーラビリティを持ち、条件付きおよび無条件生成を多様なドメインで実現できるか。

主な発見

モデル	MSCOCO FID	CUB-200 FID	Oxford-102 FID
StackGAN	74.05	51.89	55.28
StackGAN++	81.59	15.30	48.68
EFF-T2I	-	11.17	16.47
SEGAN	32.28	-	-
AttnGAN	35.49	23.98	-
DM-GAN	32.64	16.09	-
DF-GAN	21.42	-	-
DAE-GAN	28.12	15.19	-
DALLE	27.50	56.10	-
Cogview	27.10	-	-
VQ-Diffusion-S	30.17	12.97	14.95
VQ-Diffusion-B	19.75	11.94	14.88
VQ-Diffusion-F	13.86	10.32	14.10

• VQ-Diffusion with S/B/F モデルは MSCOCO、CUB-200、Oxford-102 データセットで他の GAN ベースおよび自己回帰法よりも優れた FID を達成している（例: VQ-Diffusion-F は MSCOCO で強い結果を得る）。
• マスクと置換の拡散戦略はマスクのみまたは置換のみのバリアントと比較して誤差蓄積を減らし、収束を改善する。
• 再パラメータ化により推論を高速化でき、従来の自己回帰法より十五倍速く、より良い画像品質を提供する。
• 固定数の拡散ステップと高速推論ストライドを用いた推論は品質の大幅な低下を伴わずに加速できる。
• 本手法は条件付き（テキスト誘導）および無条件の画像生成タスクの両方に対して機能する統一フレームワークを提供し、複数データセット（例: FFHQ、ImageNet、COCO など）に適用可能である。