[論文レビュー] Improved Vector Quantized Diffusion Models

Zhicong Tang, Shuyang Gu+3 more|arXiv (Cornell University)|May 31, 2022

Generative Adversarial Networks and Image Synthesis被引用数 23

ひとこと要約

本論文は、離散的分類子なしガイダンスを導入し、ポスタ―リアと結合分布の問題に対処する高品質推論戦略を提案することにより、テキストから画像生成の VQ-Diffusion を改善し、いくつかのデータセットで最先端の FID を達成します。

ABSTRACT

Vector quantized diffusion (VQ-Diffusion) is a powerful generative model for text-to-image synthesis, but sometimes can still generate low-quality samples or weakly correlated images with text input. We find these issues are mainly due to the flawed sampling strategy. In this paper, we propose two important techniques to further improve the sample quality of VQ-Diffusion. 1) We explore classifier-free guidance sampling for discrete denoising diffusion model and propose a more general and effective implementation of classifier-free guidance. 2) We present a high-quality inference strategy to alleviate the joint distribution issue in VQ-Diffusion. Finally, we conduct experiments on various datasets to validate their effectiveness and show that the improved VQ-Diffusion suppresses the vanilla version by large margins. We achieve an 8.44 FID score on MSCOCO, surpassing VQ-Diffusion by 5.42 FID score. When trained on ImageNet, we dramatically improve the FID score from 11.89 to 4.83, demonstrating the superiority of our proposed techniques.

研究の動機と目的

• テキストから画像合成のための VQ-Diffusion の品質ギャップを動機づけ、解決する。
• 入力条件との整合性を強制する離散的分類子なしガイダンス機構を開発する。
• サンプリング時の結合分布問題を特定し、高品質推論戦略で緩和する。
• MSCOCO、CC、CUB-200、ImageNet を含む複数のデータセットで改善を検証する。
• 再現とさらなる研究を可能にするオープンソースコードを提供する。

提案手法

• 後向き制約を組み込み、計算可能性を損なうことなく条件付き生成を改善するための離散的分類子なしガイダンスを提案する。
• 出力を入力条件とより良く整合させるために p(x|y) と p(y|x) を組み合わせたターゲットを導出・実装し、学習可能な条件付き事前分布を含める。
• 1ステップあたりのトークン採取数を削減し、純度プリオリを用いて高信頼トークンへサンプリングを偏らせる高品質推論戦略を導入する。
• 1ステップあたりのトークン数を減らすことで結合分布の問題を緩和し、サンプルの忠実度を向上させることを示す。
• 推論時に離散トークン分布を直接推定する再パラメタライズ手法を活用する。
• 提案手法は、 posterior 制約と結合分布緩和の影響を示すために、標準的なテキストから画像へのベンチマークでアブレーションを実施して評価する。

実験結果

リサーチクエスチョン

• RQ1 離散分類子なしガイダンスを通じた後方制約の組み込みは、VQ-Diffusion のテキスト-画像の整合性と画像品質を改善するか。
• RQ2 トークンレベルの独立性を低減し、純度プリオリを用いる高品質推論戦略は、離散拡散モデルにおける結合分布の問題を緩和するか。
• RQ3 提案手法は、MSCOCO、CC、CUB-200、ImageNet の設定で FID、QS、CLIP スコアにどのような影響を与えるか。
• RQ4 学習可能な分類子なしガイダンスは、離散拡散における固定された零ベクトル条件付けよりも効果的か。
• RQ5 改善は大規模なインターネット由来データセット（ITHQ-200M）およびバランスの取れた CC サブセットに一般化するか。

主な発見

データセット / 設定	MSCOCO FID	CUB-200 FID	CC FID	ITHQ-200M FID
VQ-Diffusion	13.86	10.32	33.65	25.87
VQ-Diffusion + prior	13.79	10.21	33.09	25.15

• 離散的分類子なしガイダンスは、MSCOCOとCCでの基準VQ-Diffusionと比較してFIDおよび品質指標を改善する。
• 学習可能な分類子なしガイダンスベクトルは、nullconditioning より良い性能を示し、より強い後方制約を示唆する。
• 高品質推論は、推論ステップ数が訓練ステップを上回るとサンプリングを改善し、ステップ数が増えるにつれてより明確な利得が得られる。
• 純度プリアリ Sampling は、追加の訓練や推論コストなしに MSCOCO、CUB-200、CC、ITHQ-200M で FID の利得を生む。
• MSCOCO で、 Improved VQ-Diffusion は 8.44 FID を達成し、 vanilla を 5.42 上回る；ImageNet では、提案手法により FID が 11.89 から 4.83 に改善される。
• この手法は複数のデータセットで最先端に近い結果を達成し、ゼロショットまたは軽微なファインチューニング設定と互換性を保つ。