[論文レビュー] Fast Sampling of Diffusion Models with Exponential Integrator

Qinsheng Zhang, Yongxin Chen|arXiv (Cornell University)|Apr 29, 2022

Model Reduction and Neural Networks被引用数 58

ひとこと要約

DEIS は拡散モデルのサンプリングを加速する拡散指数積分子サンプラーを導入し、10 NFEs という少ない回数で高忠実度を達成し、さまざまな設定で DDIM を上回る。

ABSTRACT

The past few years have witnessed the great success of Diffusion models~(DMs) in generating high-fidelity samples in generative modeling tasks. A major limitation of the DM is its notoriously slow sampling procedure which normally requires hundreds to thousands of time discretization steps of the learned diffusion process to reach the desired accuracy. Our goal is to develop a fast sampling method for DMs with a much less number of steps while retaining high sample quality. To this end, we systematically analyze the sampling procedure in DMs and identify key factors that affect the sample quality, among which the method of discretization is most crucial. By carefully examining the learned diffusion process, we propose Diffusion Exponential Integrator Sampler~(DEIS). It is based on the Exponential Integrator designed for discretizing ordinary differential equations (ODEs) and leverages a semilinear structure of the learned diffusion process to reduce the discretization error. The proposed method can be applied to any DMs and can generate high-fidelity samples in as few as 10 steps. In our experiments, it takes about 3 minutes on one A6000 GPU to generate $50k$ images from CIFAR10. Moreover, by directly using pre-trained DMs, we achieve the state-of-art sampling performance when the number of score function evaluation~(NFE) is limited, e.g., 4.17 FID with 10 NFEs, 3.37 FID, and 9.74 IS with only 15 NFEs on CIFAR10. Code is available at https://github.com/qsh-zh/deis

研究の動機と目的

• 拡散モデルの高速サンプリングを動機づけ、サンプリング誤差の源を分析する。
• 逆拡散積分における誤差を最小化する離散化スキームを特定する。
• Diffusion Exponential Integrator Sampler (DEIS) をバリアントとともに提案・開発する。
• DEIS を既存のサンプラーと関連づけ、理論的正当化を提供する（例: DDIM を特別な場合として）。
• 標準データセットで実証的に DEIS を検証し、効率と忠実度の向上を示す。

提案手法

• 拡散モデルの周辺同値な SDE/ODE を分析し、離散化誤差を特定する。
• 確率フローにおける半線形 ODE の Exponential Integrator (EI) を導入し、それを DEIS に適用する。
• 学習とサンプリングを安定化させるため、epsilon_theta と L_t を用いてスコアをパラメータ化する。
• ODE 変換を介して t AB-DEIS、rho RK-DEIS、rho AB-DEIS などの DEIS バリアントを開発する。
• 精度向上のため、epsilon_theta の高次多項式外挿を組み込む（P_r 外挿）。
• 決定論的 DDIM が VPSDE 下で DEIS の特別なケースであることを示し、離散化に基づく正当化を提供する。

実験結果

リサーチクエスチョン

• RQ1 適合誤差と離散化誤差は拡散モデルのサンプリング品質にどのような影響を与えるか。
• RQ2 EI ベースの離散化は離散化誤差を低減し、少ない NFEs で高品質サンプルを実現できるか。
• RQ3 特定の前方プロセス下で DDIM が DEIS の離散化と同等であり得るか、また DEIS は VPSDE を超えて一般化できるか。
• RQ4 epsilon_theta の高次多項式外挿は制限された NFEs でさらなるサンプリング精度向上につながるか。

主な発見

• DEIS は少数の NFEs で高忠実度サンプルを生成できる（例: CIFAR-10 で 10 NFEs のとき 4.17 FID、20 NFEs のとき 2.86 FID）。
• EI ベースの離散化は半線形構造とスコア近似誤差の扱いが優れており、Euler や標準ソルバを上回る。
• スコアを s_theta = -L_t^{-T} epsilon_theta としてパラメータ化し epsilon_theta を用いることで、直接のスコア目標より精度が向上する。
• 決定論的 DDIM は VPSDE 下で DEIS の特別なケースとして現れ、其の有効性に関する原理的な離散化の視点を提供する。
• epsilon_theta の高次多項式外挿（P_r）はさらに離散化誤差を低減し、少数ステップでのサンプリングを改善する。
• DEIS バリアント（rho RK-DEIS、rho AB-DEIS、t AB-DEIS）は、限定的な NFEs の下で伝統的なサンプラー（DDPM、DDIM、PNDM、FastDPM）を一貫して上回る。