[論文レビュー] Pseudo Numerical Methods for Diffusion Models on Manifolds

Luping Liu, Yi Ren+2 more|arXiv (Cornell University)|Feb 20, 2022

Advanced Neuroimaging Techniques and Applications被引用数 125

ひとこと要約

この論文は DDPMs を多様体上の微分方程式を解くものとして再定義し、勾配成分を高次法から取り出し非線形転送部分を組み合わせて、品質を損なうことなくサンプリングを加速する pseudo numerical methods (PNDMs) を導入します。

ABSTRACT

Denoising Diffusion Probabilistic Models (DDPMs) can generate high-quality samples such as image and audio samples. However, DDPMs require hundreds to thousands of iterations to produce final samples. Several prior works have successfully accelerated DDPMs through adjusting the variance schedule (e.g., Improved Denoising Diffusion Probabilistic Models) or the denoising equation (e.g., Denoising Diffusion Implicit Models (DDIMs)). However, these acceleration methods cannot maintain the quality of samples and even introduce new noise at a high speedup rate, which limit their practicability. To accelerate the inference process while keeping the sample quality, we provide a fresh perspective that DDPMs should be treated as solving differential equations on manifolds. Under such a perspective, we propose pseudo numerical methods for diffusion models (PNDMs). Specifically, we figure out how to solve differential equations on manifolds and show that DDIMs are simple cases of pseudo numerical methods. We change several classical numerical methods to corresponding pseudo numerical methods and find that the pseudo linear multi-step method is the best in most situations. According to our experiments, by directly using pre-trained models on Cifar10, CelebA and LSUN, PNDMs can generate higher quality synthetic images with only 50 steps compared with 1000-step DDIMs (20x speedup), significantly outperform DDIMs with 250 steps (by around 0.4 in FID) and have good generalization on different variance schedules. Our implementation is available at https://github.com/luping-liu/PNDM.

研究の動機と目的

• Diffusion を manifold-constrained differential equations として扱い、品質を損なうことなく DDPM のより速いサンプリングを動機づける。
• 高密度データ多様体上に留まるように非線形転送部分を使用して pseudo numerical methods を開発する。
• DDIMs が pseudo numerical methods の特殊ケースであることを示し、最も性能の良い変種を特定する。
• PNDMs が標準データセット上でサンプル品質を維持または向上させつつ大幅な高速化（例: 20 倍）を達成することを示す。

提案手法

• 多様体制約の下で DDPM 逆過程を支配する ODE を導出する。
• 古典的な数値法を勾配部分 epsilon_theta と転送部分に分割し、非線形転送部分を導入して PN 法を構成する。
• DDIMs を単純な PN 法と同一視し、pseudo linear multi-step methods (PLMS) および pseudo Runge-Kutta variants (PRK) を提案する。
• データ多様体上に留まるように、主要な勾配部分として線形多段法を用い、適切な転送部分を組み合わせる。
• 収束性を証明する: S/P-NDMs は局所誤差が三次、二次収束性を持つ。
• DDIMs, S-PNDMs, F-PNDMs のアルゴリズム的記述を提供し、PLMS へ切り替える前の Runge-Kutta の最初の三段階を議論する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルのサンプリングは、データ多様体上の逆過程を pseudo numerical methods で解くことで高速化できるか。
• RQ2 pseudo numerical methods (PNDMs) は従来の数値解法や DDIMs よりもサンプル品質で上回りつつステップ数を減らせるか。
• RQ3 勾配成分と転送成分は、データ多様体に合わせたサンプルと収束保証を維持するためにどのように相互作用するか。

主な発見

• PNDMs は CIFAR-10 と CelebA で 1000-step DDIMs より最大 20x の高速サンプリングを実現し、品質を損なわない。
• PNDMs は減少したステップ数で CelebA における新しい最先端の FID 2.71 を達成。
• S-PNDMs および F-PNDMs は CIFAR-10 と CelebA の低ステップ数で FID を著しく改善し、分散スケジュール間で一般化。
• DDIMs は PN 法の特殊ケースであり、それらの性能の新しい解釈を提供。
• 理論解析により S/F-PNDMs が局所誤差三次・二次収束を持つことを示す。