[論文レビュー] DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps

Cheng Lü, Yuhao Zhou+4 more|arXiv (Cornell University)|Jun 2, 2022

Model Reduction and Neural Networks被引用数 288

ひとこと要約

DPM-Solver は拡散確率モデルの訓練不要の高速ソルバーを導入し、高次の指数積分器で拡散ODEを解くことで約10ステップで高品質なサンプルを実現します。従来の訓練不要サンプラーをデータセット間で上回ります。

ABSTRACT

Diffusion probabilistic models (DPMs) are emerging powerful generative models. Despite their high-quality generation performance, DPMs still suffer from their slow sampling as they generally need hundreds or thousands of sequential function evaluations (steps) of large neural networks to draw a sample. Sampling from DPMs can be viewed alternatively as solving the corresponding diffusion ordinary differential equations (ODEs). In this work, we propose an exact formulation of the solution of diffusion ODEs. The formulation analytically computes the linear part of the solution, rather than leaving all terms to black-box ODE solvers as adopted in previous works. By applying change-of-variable, the solution can be equivalently simplified to an exponentially weighted integral of the neural network. Based on our formulation, we propose DPM-Solver, a fast dedicated high-order solver for diffusion ODEs with the convergence order guarantee. DPM-Solver is suitable for both discrete-time and continuous-time DPMs without any further training. Experimental results show that DPM-Solver can generate high-quality samples in only 10 to 20 function evaluations on various datasets. We achieve 4.70 FID in 10 function evaluations and 2.87 FID in 20 function evaluations on the CIFAR10 dataset, and a $4\sim 16\times$ speedup compared with previous state-of-the-art training-free samplers on various datasets.

研究の動機と目的

• 追加の訓練を必要とせず、拡散確率モデル（DPMs）のサンプリングを高速化する動機を示す。
• 拡散ODEの観点を活用し、半線形構造を利用して線形項を正確に扱う。
• DPMsの高次・少ステップ解法を開発し、収束保証を提供する。
• 連続的および離散的DPMをカバーする適応的および離散時間対応性を提供する。

提案手法

• 半線形構造を持つ拡散ODEを解くとして拡散サンプリングを定式化する。
• 定数変化法を用いて線形部分の厳密解を導出し、ノイズ予測子の指数加重積分に変換する。
• DPM-Solver を第一・第二・第三階のバージョン（DPM-Solver-1/2/3）と収束保証とともに導入する。
• 適応的または一様なステップサイズ戦略を用い、ソルバーを組み合わせて少ステップサンプリングを達成する（NFE ~ 10-20）。
• DPM-Solver-1 と DDIM 更新の同値性を示し、RKベースのソルバーおよび訓練ベースの手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 拡散確率モデルのサンプリングを、線形項を正確に扱うことを可能にする半線形構造を持つ拡散ODEとして表現できるだろうか？
• RQ2 データセット全体で約10ステップで質の高いサンプルを達成できる高次の訓練不要ソルバーは何か？
• RQ3 指数積分法に触発されたソルバーは少ステップ領域でDPMsに対して収束保証を提供するか？
• RQ4 サンプル品質を保ちつつNFEsを最小化する実用的なステップサイズスケジュール（適応的/一様）はあるか？
• RQ5 このアプローチは連続時間および離散時間のDPMs（分類器ガイド付きサンプリングを含む）に拡張可能か？

主な発見

Sampling method	12	18	24	30	36	42	48
RK2 (t)	16.40	7.25	3.90	3.63	3.58	3.59	3.54
RK2 (λ)	107.81	42.04	17.71	7.65	4.62	3.58	3.17
DPM-Solver-2	5.28	3.43	3.02	2.85	2.78	2.72	2.69
RK3 (t)	48.75	21.86	10.90	6.96	5.22	4.56	4.12
RK3 (λ)	34.29	4.90	3.50	3.03	2.85	2.74	2.69
DPM-Solver-3	6.03	2.90	2.75	2.70	2.67	2.65	2.65

• DPM-Solverはデータセットを跨いで約10〜20回の関数評価（NFE）で高品質なサンプルを達成する。
• DPM-Solver-1, -2, および -3 は拡散ODEに対する第一・第二・第三次の収束保証を提供する。
• DPM-Solverは少ステップ領域で従来の訓練不要サンプラーおよび従来のRKベース手法を上回り、例えばCIFAR-10の結果はサンプル品質の向上がより速いことを示す。
• DDIM は DPM-Solver-1 の特殊ケースであることが示され、半線形ODE構造を通じてその性能が説明される。
• 適応ステップサイズ戦略とソルバーの組み合わせにより、固定NFE予算下で効率を最大化する。