[論文レビュー] Accelerating Convergence of Score-Based Diffusion Models, Provably

Gen Li, Yu Huang+4 more|arXiv (Cornell University)|Mar 6, 2024

Statistical Methods and Inference被引用数 5

ひとこと要約

本論文は、スコアベース拡散モデルのトレーニングフリーの加速サンプラーを設計し、決定論的（ODE）および確率論的（SDE）サンプラーの非漸近的収束保証をより速く提供する。

ABSTRACT

Score-based diffusion models, while achieving remarkable empirical performance, often suffer from low sampling speed, due to extensive function evaluations needed during the sampling phase. Despite a flurry of recent activities towards speeding up diffusion generative modeling in practice, theoretical underpinnings for acceleration techniques remain severely limited. In this paper, we design novel training-free algorithms to accelerate popular deterministic (i.e., DDIM) and stochastic (i.e., DDPM) samplers. Our accelerated deterministic sampler converges at a rate $O(1/{T}^2)$ with $T$ the number of steps, improving upon the $O(1/T)$ rate for the DDIM sampler; and our accelerated stochastic sampler converges at a rate $O(1/T)$, outperforming the rate $O(1/\sqrt{T})$ for the DDPM sampler. The design of our algorithms leverages insights from higher-order approximation, and shares similar intuitions as popular high-order ODE solvers like the DPM-Solver-2. Our theory accommodates $\ell_2$-accurate score estimates, and does not require log-concavity or smoothness on the target distribution.

研究の動機と目的

• スコアベース拡散モデルにおけるサンプリングの高速化の必要性を、経験的な利得を超えて動機づける。
• トレーニング不要の加速サンプラーを、決定論的（ODE）および確率論的（SDE）設定の双方で開発する。
• スコア推定とターゲット分布に関する最小限の仮定の下で非漸近的収束保証を提供する。
• 加速が反復複雑性を、決定論的には1/εから1/√εへ、確率論的には1/√εから1/εへ改善することを示す。
• 高次のODEソルバとの関連性と、対数凹性や滑らかさを要求しなくても実用的な意義を強調する。

提案手法

• 中点計算と運動量様の補正項を用いた加速決定論的サンプラーを提案し、更新式（15b）–（15c）を生み出す。
• 加速ODEサンプラーの非漸近的総変動距離保証を確立する: TV(q1,p1) ≤ C1 d^6 log^6 T / T^2 + C1 sqrt(d log^3 T) ε_score + C1 (d log T) ε_Jacobi.
• 決定論的ケースに対する反復複雑性をO(poly(d)/√ε)へ（対数因子を除く）改善することを示す。
• ノイズを注入する追加のランダム化ステップを伴う加速確率論的サンプラーを提案し、更新式（24a）–（24c）を導く。
• 加速SDEサンプラーのTV境界を確立する: TV(q1,p1) ≤ C1 d^3 log^4.5 T / T + C1 sqrt(d) ε_score log^1.5 T, implying 1/T convergence rate (up to logs).
• ℓ2ノルムのスコア推定誤差と、対数凹性や滑らかさを要しない一般的なターゲット分布を許容する解析を示す。

Figure 1: The progress of the generated samples over different numbers of NFEs (from 4 to 50), using pre-trained scores from the LSUN-Churches dataset. Top row: the vanilla DDIM-type sampler. Bottom row: the accelerated DDIM-type sampler (ours).

実験結果

リサーチクエスチョン

• RQ1 スコアベース拡散モデルのDDIMよりも高速に収束する、トレーニング不要な決定論的サンプラーを設計できるか?
• RQ2 スコアベース拡散モデルのDDPMよりも高速に収束する、トレーニング不要な確率論的サンプラーを設計できるか?
• RQ3 ℓ2ノルムのスコア誤差仮定の下で、加速DDIM型およびDDPM型サンプラーに対してどのような非漸近的保証を確立できるか?
• RQ4 提案された加速は高次のODEソルバーとどのように関連し、スコアベースモデルにとって実用的な意味は何か?
• RQ5 加速収束を証明するのに必要な、スコア推定とターゲット分布に関する最小限の仮定は何か?

主な発見

• 加速決定論的サンプラーは、対数因子を考慮しても、反復複雑性をO(poly(d)/√ε)達成する。
• 加速確率論的サンプラーは、総変分距離の収束率をO(d^3 log^4.5 T / T)に、スコア推定誤差項を加えた形で得る。すなわち、対数を含むとしても1/T。
• 理論はℓ2精度のスコア推定を支持し、ℓ∞精度ではなく、ターゲット分布に対する対数凹性や滑らかさを要求しない。
• 加速手法は、DPM-Solver-2のような高次のODEソルバーの直感を共有し、確率フローODEダイナミクスと結びつく。
• 結果は、追加のトレーニングなしで、DDIM型（決定論的）およびDDPM型（確率論的）のサンプラーに対する非漸近的保証を提供する。

Figure 2: Examples of sampled images from the DDIM-type samplers with 5 NFEs, using pre-trained scores from the LSUN-Churches, LSUN-Bedroom, and CelebA-HQ datasets. For each dataset, the top image is the original DDIM-type sampler, and the bottom image is the accelerated DDIM-type sampler (ours).