[論文レビュー] Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference

Simian Luo, Yiqin Tan+3 more|ArXiv.org|Oct 6, 2023

Generative Adversarial Networks and Image Synthesis被引用数 37

ひとこと要約

LCMsは事前学習済みの潜在拡散モデルを潜在的整合性モデルに蒸留し、 classifier-free ガイダンスを用いた高速な数ステップ（1ステップさえも）の高解像度画像生成を可能にする。さらにカスタマイズのための微調整手法を提供する。

ABSTRACT

Latent Diffusion models (LDMs) have achieved remarkable results in synthesizing high-resolution images. However, the iterative sampling process is computationally intensive and leads to slow generation. Inspired by Consistency Models (song et al.), we propose Latent Consistency Models (LCMs), enabling swift inference with minimal steps on any pre-trained LDMs, including Stable Diffusion (rombach et al). Viewing the guided reverse diffusion process as solving an augmented probability flow ODE (PF-ODE), LCMs are designed to directly predict the solution of such ODE in latent space, mitigating the need for numerous iterations and allowing rapid, high-fidelity sampling. Efficiently distilled from pre-trained classifier-free guided diffusion models, a high-quality 768 x 768 2~4-step LCM takes only 32 A100 GPU hours for training. Furthermore, we introduce Latent Consistency Fine-tuning (LCF), a novel method that is tailored for fine-tuning LCMs on customized image datasets. Evaluation on the LAION-5B-Aesthetics dataset demonstrates that LCMs achieve state-of-the-art text-to-image generation performance with few-step inference. Project Page: https://latent-consistency-models.github.io/

研究の動機と目的

• 拡散モデルを用いた高速で高解像度の画像合成を、重い多段サンプリングなしに実現する動機付け。
• 事前学習済みオートエンコーダ（Stable Diffusion）の潜在空間での一貫性モデルを活用し、 few-step 推論を実現する。
• classifier-free ガイダンスを組み込んだ効率的な一段階ガイド付き蒸留法を導入。
• 高速推論を維持しつつ、カスタムデータセットに適合させるための Latent Consistency Fine-tuning を提案。

提案手法

• Latent Consistency Distillation (LCD) を定式化し、事前学習済みSDを潜在空間における潜在的一貫性モデルへ蒸留する。
• 潜在空間(z_t)でPF-ODEのx0解を直接予測する一貫性関数 f_theta を定義し、f_theta(z,c,t)=c_skip(t) z + c_out(t) F_theta(z,c,t) の形で表す。
• CFGを用いた拡張PF-ODEを解くことで classifier-free ガイダンスを組み込み、潜在空間で2–4ステップまたは1ステップのサンプリングを実現。
• スキップステップ手法（k）を用いて、t_{n+1} から t_n へではなく t_{n+k} から t_n へ一貫性を課すことで収束を加速する。kは通常20に設定。
• f_theta を t_{n+k} で、z_{t_n} から推定される f_theta の EMA と比較する一貫性損失を介して、学生CMをEMA教員と整合させる一段階のガイド付き蒸留目的で訓練。
• 事前学習済みLCMをカスタマイズされたデータセットに適応させるための Latent Consistency Fine-tuning (LCF) を提案し、新しい教師拡散モデルを訓練することなく適応。

実験結果

リサーチクエスチョン

• RQ1 Latent Consistency Models は、Stable Diffusion のような事前学習済み潜在拡散モデル上で、2–4ステップ、さらには1ステップの高品質なテキストから画像生成を可能にするだろうか？
• RQ2 一段階の guided distillation は classifier-free ガイダンスを効果的に組み込み、サンプリングステップを大幅に減らしても忠実性を維持できるか？
• RQ3 スキップステップ蒸留（t_{n+k} から t_n）は、迅速な収束と高品質な出力にとって重要か？
• RQ4 Latent Consistency Fine-tuning は、高速推論を維持しつつ LCMS をカスタマイズデータセットに効率的に適応させることができるか？

主な発見

Model (512×512)	FID↓	CLIP Score↑	1 Step	2 Steps	4 Steps	8 Steps	1 Step	2 Steps	4 Steps	8 Steps
DDIM (Song et al., 2020a)	183.29	81.05	22.38	13.83	6.03	14.13	25.89	29.29
DPM (Lu et al., 2022a)	185.78	72.81	18.53	12.24	6.35	15.10	26.64	29.54
DPM++ (Lu et al., 2022b)	185.78	72.81	18.43	12.20	6.35	15.10	26.64	29.55
Guided-Distill (Meng et al., 2023)	108.21	33.25	15.12	13.89	12.08	22.71	27.25	28.17
LCM (Ours)	35.36	13.31	11.10	11.84	24.14	27.83	28.69	28.84
(empty placeholder)
(empty placeholder)

• LCMs は LAION-5B-Aesthetics で少数ステップ領域（2–4 ステップ）で最先端のテキストから画像生成を達成し、512×512 および 768×768 解像度でベースラインを上回る。
• LCD での訓練は 2–4 step sampling で約 32 A100 GPU hours を要し、従来の2段階ガイド付き蒸留法より有意に少ない。
• CFGの組み込みと一段階蒸留により、より大きな CFG スケールでも高品質な画像を得られつつ、効率的なサンプリングを維持。
• スキップステップ手法（k ≈ 20）は、DDIM、DPM、DPM++ など複数のODEソルバーで収束を加速し、品質の損失は最小限。
• LCF は、カスタマイズデータセット（例: Pokemon、Simpsons）で効率的なファインチューニングを可能にし、教師モデルを再訓練せずに数ステップでスタイル生成を実現。
• 経験的結果は、LCMs が 1–4 ステップ領域で DDIM、DPM、DPM++、Guided-Distill のベースラインを上回り、CLIP/FID 指標が同等またはより良いことを示す。