[論文レビュー] Classifier-Free Diffusion Guidance

Jonathan Ho, Tim Salimans|arXiv (Cornell University)|Jul 26, 2022

Model Reduction and Neural Networks被引用数 731

ひとこと要約

この論文は分類器なしガイダンスを導入しており、拡散モデルにおいて条件付きモデルと無条件モデルを同時に訓練し、それぞれのスコア推定を結合することでサンプルの忠実度と多様性を同時に調整でき、補助的な分類器を用意である必要を解消します。

ABSTRACT

Classifier guidance is a recently introduced method to trade off mode coverage and sample fidelity in conditional diffusion models post training, in the same spirit as low temperature sampling or truncation in other types of generative models. Classifier guidance combines the score estimate of a diffusion model with the gradient of an image classifier and thereby requires training an image classifier separate from the diffusion model. It also raises the question of whether guidance can be performed without a classifier. We show that guidance can be indeed performed by a pure generative model without such a classifier: in what we call classifier-free guidance, we jointly train a conditional and an unconditional diffusion model, and we combine the resulting conditional and unconditional score estimates to attain a trade-off between sample quality and diversity similar to that obtained using classifier guidance.

研究の動機と目的

• 拡散モデルにおけるガイダンスの外部分類器への依存を減らす動機づけ。
• 純粋な生成モデルだけでガイダンスを実現できることを示すため、条件付き拡散モデルと無条件拡散モデルを共同訓練する。
• ガイダンス強度を変えるとサンプル品質（IS）と多様性（FID）のトレードオフが生じることを示す。
• 分類器ガイド法に匹敵する、単純で実用的な classifier-free ガイダンスの訓練とサンプリング手順を提供する。

提案手法

• 条件付きブランチと無条件ブランチの両方を同一ネットワークで訓練し、 conditioning を確率 p_uncond でランダムにドロップする。
• denoising スコア ε_θ(z_λ, c) と ε_θ(z_λ) を予測し、サンプリング時にガイドスコア ε̃_t = (1+w)ε_θ(z_λ, c) − wε_θ(z_λ) を形成する（classifier-free guidance）。
• 複数のノイズスケール λ にわたる denoising score matching による条件付きと無条件コンポーネントの共同最適化を用いる。
• 訓練時には cosinus ベースのスケジュールから λ をサンプルし、ε_θ を破損した zλ に対する真の ε に一致させるよう最適化する。
• 推論時には固定の混合重み w でサンプリングし、忠実度と多様性をトレードオフする。
• このアプローチは制約のないネットワークに依存するため、ガイドされたスコアが明示的な分類器の勾配に対応しない可能性があることを指摘する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルで別個の分類器を訓練せずにガイダンスを実現できるか。
• RQ2 無条件と条件付きのスコア推定を混合することで、分類器ガイダンスと同様の制御可能な IS/FID のトレードオフを提供できるか。
• RQ3 分類器ガイド拡散法と比較して、classifier-free ガイダンスの単純さ・訓練要件・サンプリング効率はどうか。
• RQ4 訓練時の p_uncond およびガイダンス強度 w が画像品質と多様性に与える影響は何か。

主な発見

Model	FID (↓)	IS (↑)
ADM (Dhariwal & Nichol 2021)	2.07	-
CDM (Ho et al. 2021)	1.48	67.95
Ours w=0.0, p_uncond=0.1/0.2/0.5	1.8 / 1.8 / 2.21	53.71 / 52.9 / 47.61
Ours w=0.1, p_uncond=0.1/0.2/0.5	1.55 / 1.62 / 1.91	66.11 / 64.58 / 56.1
Ours w=0.3, p_uncond=0.1/0.2/0.5	3.03 / 2.93 / 2.65	92.8 / 88.64 / 74.92
Ours w=0.4, p_uncond=0.1/0.2/0.5	4.3 / 4 / 3.44	106.2 / 101.11 / 84.27
Ours w=0.5, p_uncond=0.1/0.2/0.5	5.74 / 5.19 / 4.34	119.3 / 112.15 / 92.95
Ours w=0.6, p_uncond=0.1/0.2/0.5	7.19 / 6.48 / 5.27	131.1 / 122.13 / 102
Ours w=0.7, p_uncond=0.1/0.2/0.5	8.62 / 7.73 / 6.23	141.8 / 131.6 / 109.8
Ours w=0.8, p_uncond=0.1/0.2/0.5	10.08 / 8.9 / 7.25	151.6 / 140.82 / 116.9
Ours w=0.9, p_uncond=0.1/0.2/0.5	11.41 / 10.09 / 8.21	161 / 150.26 / 124.6
Ours w=1.0, p_uncond=0.1/0.2/0.5	12.6 / 11.21 / 9.13	170.1 / 158.29 / 131.1
Ours w=2.0, p_uncond=0.1/0.2/0.5	21.03 / 18.79 / 16.16	225.5 / 212.98 / 183
Ours w=3.0, p_uncond=0.1/0.2/0.5	24.83 / 22.36 / 19.75	250.4 / 237.65 / 208.9
Ours w=4.0, p_uncond=0.1/0.2/0.5	26.22 / 23.84 / 21.48	260.2 / 248.97 / 225.1

• 分類器なしガイダンスはガイダンス強度 w を調整することで分類器ガイダンスと同様の制御可能な IS/FID のトレードオフを実現する。
• 64×64 ImageNet では小さな w が最良の FID を示し、より大きな w が Inception Score を改善することから、忠実度と多様性の明確なトレードオフを示す。
• 128×128 ImageNet では異なる timesteps T に対して競合力のある FID と IS を達成し、0.3–0.4 のような w の値で強い IS と良好な FID を得る。
• 訓練時に p_uncond を小さく (例: 0.1–0.2) 設定するだけで効果的なガイダンスには十分であることを示す、無条件能力は控えめで十分である。
• 最も強力なガイド付きサンプルは忠実度が高いが多様性が低く、品質と多様性の間の意図的なトレードオフと一致する。
• このアプローチは報告済みベンチマークで既存法を上回ることがあり、同等のサンプリング予算で競合的または優れた IS/FID を示す。