[論文レビュー] Sampling is as easy as learning the score: theory for diffusion models with minimal data assumptions

Sitan Chen, Sinho Chewi+4 more|arXiv (Cornell University)|Sep 22, 2022

Bayesian Methods and Mixture Models被引用数 15

ひとこと要約

本論文は、最小限のデータ仮定のもとで、スコアベース生成モデル（SGMs）に対する最初の多項式時間収束保証を提供し、正確な$L^2$ノルムにおけるスコア推定が、任意の現実的でないデータ分布からの効率的なサンプリングを可能にすることを示している。主な結果は、スコア誤差が$\widetilde{O}(\varepsilon)$であれば、SGMsが$W_2$距離において$\varepsilon$の精度に達することを示しており、ラングジュアン拡散離散化の最先端の複雑さの境界と一致する。

ABSTRACT

We provide theoretical convergence guarantees for score-based generative models (SGMs) such as denoising diffusion probabilistic models (DDPMs), which constitute the backbone of large-scale real-world generative models such as DALL$\cdot$E 2. Our main result is that, assuming accurate score estimates, such SGMs can efficiently sample from essentially any realistic data distribution. In contrast to prior works, our results (1) hold for an $L^2$-accurate score estimate (rather than $L^\infty$-accurate); (2) do not require restrictive functional inequality conditions that preclude substantial non-log-concavity; (3) scale polynomially in all relevant problem parameters; and (4) match state-of-the-art complexity guarantees for discretization of the Langevin diffusion, provided that the score error is sufficiently small. We view this as strong theoretical justification for the empirical success of SGMs. We also examine SGMs based on the critically damped Langevin diffusion (CLD). Contrary to conventional wisdom, we provide evidence that the use of the CLD does not reduce the complexity of SGMs.

研究の動機と目的

• 現実的で最小限の仮定のもとで、スコアベース生成モデル（SGMs）の理論的収束保証を提供すること。
• 高次元かつ非対数凸な設定における、DDPMのようなSGMsの実験的成功と理論的理解のギャップを埋めること。
• $L^2$-精度のスコア推定—標準のスコアマッチング目的関数と整合—が、保証可能な収束に十分であることの証明。
• 臨界減衰ラングジュアン拡散（CLD）が、標準ラングジュアンダイナミクスと比較して、サンプリングの複雑さを低下させないことを示すこと。

提案手法

• 分析は、SGMsの前向きおよび逆向きの確率過程に依存する：前向き過程はデータをノイズに拡散させ、逆向き過程はスコア推定を用いてデータを回復する。
• スコアのリプシッツ連続性、有限な2次のモーメント、標準ガウス分布からの有限なKLダイバージェンスという仮定のもとで、生成された分布と真のデータ分布の間の$W_2$距離を用いて収束を確立する。
• コアとなる議論は、部分積分とガウスの恒等式を用いて、$L^2$スコア推定誤差を、生成分布のターゲットからの$W_2$距離に関連付けるものである。
• 短時間正則化結果を活用して、時間$t$における前向き過程の分布のKLダイバージェンスをバインドし、それが良好に保たれることを保証する。
• 強い関数的不等式（例：LSIや対数凸性）を避けることで、非常にマルチモーダルで非対数凸なデータ分布の解析が可能になる。
• 標準ラングジュアン拡散と臨界減衰ラングジュアン拡散（CLD）を用いたSGMsの複雑さを比較し、CLDに漸近的な利点がないことを示している。

実験結果

リサーチクエスチョン

• RQ1 最小限の仮定のもとで、スコアベース生成モデルは真のデータ分布に効率的に収束できるか？
• RQ2 $L^2$-精度のスコア推定が保証可能な収束に十分か、それとも$L^\infty$-精度が必要か？
• RQ3 LSIやLSIのような関数的不等式を仮定せずに、収束保証を確立できるか？
• RQ4 臨界減衰ラングジュアン拡散（CLD）は、標準ラングジュアンダイナミクスと比較して、SGMsのサンプリング複雑さを低下させるか？
• RQ5 次元、スコア誤差、データ分布の性質といった問題パラメータに、収束誤差の多項式的依存関係はどのように現れるか？

主な発見

• スコアが$L$-リプシッツ連続で、2次のモーメントが有限で、標準ガウス分布からのKLダイバージェンスが有限であれば、SGMsは$W_2$距離において$\varepsilon$の精度に多項式的複雑性で到達する。
• 収束速度は次元$d$を含むすべてのパラメータに関して多項式的にスケーリングされ、離散化されたラングジュアン拡散の最高水準の境界と一致する。
• 先行研究がLSIや対数凸性を要件としていたのとは異なり、本分析は任意に非対数凸なデータ分布、特にマルチモーダルな分布に対しても成立する。
• スコア推定誤差は$L^2$精度で許容可能であり、これは標準のスコアマッチング目的関数と整合しており、$L^\infty$精度よりも現実的である。
• 臨界減衰ラングジュアン拡散（CLD）は、同じスコア誤差のもとで、標準ラングジュアンダイナミクスと比較してサンプリングの複雑さを低下させない。
• 特に$\varepsilon \ll \sqrt{d}$の場合、時間$t \asymp \varepsilon^2 / (\sqrt{d} (R \vee \sqrt{d}))$における前向き過程は、$W_2(q, q_t) \leq \varepsilon$および$\mathsf{KL}(q_t \| \gamma^d) \lesssim \sqrt{d} (R \vee \sqrt{d})^3 / \varepsilon^2$を満たす。