[論文レビュー] A Geometric Perspective on Diffusion Models

Defang Chen, Zhenyu Zhou+4 more|arXiv (Cornell University)|May 31, 2023

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本論文は、拡散モデルにおけるODEベースのサンプリングを理解するための幾何的枠組みを提示し、モデルのスコア関数によって駆動されるノイズ除去軌道が、高品質なサンプルへのより速い収束を示す暗黙的経路を形成することを明らかにした。最適ODEサンプリングと平均シフトアルゴリズムの間の理論的関連性を確立し、各Eulerステップが現在位置と平均シフトターゲットの凸結合を近似することを示した。また、ノイズ除去軌道が視覚的品質とFIDの両面でサンプリング軌道を常に上回ることを示し、ODEジャンプサンプリングにより高速な推論が可能になった。

ABSTRACT

Recent years have witnessed significant progress in developing effective training and fast sampling techniques for diffusion models. A remarkable advancement is the use of stochastic differential equations (SDEs) and their marginal-preserving ordinary differential equations (ODEs) to describe data perturbation and generative modeling in a unified framework. In this paper, we carefully inspect the ODE-based sampling of a popular variance-exploding SDE and reveal several intriguing structures of its sampling dynamics. We discover that the data distribution and the noise distribution are smoothly connected with a quasi-linear sampling trajectory and another implicit denoising trajectory that even converges faster. Meanwhile, the denoising trajectory governs the curvature of the corresponding sampling trajectory and its finite differences yield various second-order samplers used in practice. Furthermore, we establish a theoretical relationship between the optimal ODE-based sampling and the classic mean-shift (mode-seeking) algorithm, with which we can characterize the asymptotic behavior of diffusion models and identify the empirical score deviation. Code is available at \url{https://github.com/zju-pi/diff-sampler}.

研究の動機と目的

• 拡散モデルにおけるODEベースのサンプリングダイナミクス、特に分散が爆発するSDEについて、幾何的理解を提供すること。
• 明示的なサンプリング軌道とは別個の、より速く収束する暗黙的ノイズ除去軌道の存在を明らかにすること。
• ODEベースのサンプリングと平均シフト（モード探索）アルゴリズムの間の理論的関連性を確立すること。
• ノイズ除去軌道がなぜ常にサンプリング軌道よりも優れた視覚的品質を生み出すのかを説明すること。
• ODEジャンプサンプリングを考案・検証し、より速く高品質な生成を実現する手法を構築すること。

提案手法

• 著者らは、分散が爆発するSDEのODEベースのサンプリングプロセスを分析し、2つの主要な軌道（明示的サンプリング軌道と暗黙的ノイズ除去軌道）を同定した。
• ノイズ除去軌道の微分が、サンプリング軌道の2階微分の負と一致することを導出し、2階数値解法と関連づけた。
• 最適ODEサンプリングとアンナールド平均シフトアルゴリズムとの理論的同等性を確立し、各Eulerステップが現在位置と平均シフトターゲットの凸結合へ移動することを示した。
• ODEジャンプサンプリング法を提案した。この手法はノイズ除去軌道を活用してサンプリングプロセスを飛躍的に進め、スコア関数評価回数（NFE）を減らしながらも高品質を維持する。
• CIFAR-10、ImageNet、FFHQ、Stable Diffusionなど複数のデータセットで、FIDと視覚的品質の比較を通じて、DPM-Solver や EDM といった標準的なサンプラーと比較して検証した。
• 理論的分析により、やや緩い条件下でも、ノイズ除去軌道に沿ったサンプルの尤度がサンプリング軌道に沿ったものよりも高いことが示され、その優れた性能の背景が説明された。

Figure 1: The geometric picture of ODE-based sampling in diffusion models. An initial sample (from the noise distribution) starts from a big sphere and converges to its final sample (in the data manifold) along a smooth, quasi-linear sampling trajectory. Meanwhile, its denoising output lays in an im

実験結果

リサーチクエスチョン

• RQ1 ODEベースの拡散モデルのサンプリングダイナミクスの背後にある幾何的構造は何か？
• RQ2 ノイズ除去軌道と明示的サンプリング軌道はどのように異なるのか？ なぜノイズ除去軌道は視覚的品質においてより速く収束するのか？
• RQ3 ODEベースのサンプリングと平均シフトアルゴリズムの間にはどのような理論的関係があるか？
• RQ4 なぜノイズ除去軌道は常にサンプリング軌道よりも高品質なサンプルを生成するのか？
• RQ5 ノイズ除去軌道を活用して、より速く効率的なサンプリング手法を設計できるか？

主な発見

• ノイズ除去軌道は、Fréchet Inception Distance（FID）の観点で、スコア関数評価回数（NFE）を減らしても、サンプリング軌道よりも著しく速く収束する。
• CIFAR-10およびImageNet-64において、DPM-Solver-3とNFE=48を用いたODEジャンプサンプリングは、標準的なEDMサンプラーを上回るFID収束速度を達成した。
• ノイズ除去軌道は尤度と視覚的品質の両面で、常にサンプリング軌道を上回り、初期のサンプリングステップでFIDが最大30%改善された。
• 理論的分析により、ODEサンプリングの各Eulerステップが、現在のサンプルと平均シフトターゲットの凸結合を近似することが確認され、ODEサンプリングがモード探索行動と関連していることが示された。
• ノイズ除去軌道の微分が、サンプリング軌道の2階微分の負に一致することを示し、有限差分の観点から2階数値解法の起源を説明した。
• 最適スコアからのわずかな経験的スコアのずれが、モード崩壊を軽減するという、平均シフトに類似したダイナミクスの本質的頑健性により、生成能力を維持することが示された。

(a) The statistics of magnitude.