[論文レビュー] DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models

Cheng Lu, Y. Zhou+4 more|arXiv (Cornell University)|Nov 2, 2022

Generative Adversarial Networks and Image Synthesis被引用数 101

ひとこと要約

DPM-Solver++ は訓練フリーで高次の拡散ODEソルバーを提供し、ガイド付きサンプリングにおいて約15–20ステップで高品質なサンプルを達成し、ガイドタスクのための従来の高速ソルバーを上回る。

ABSTRACT

Diffusion probabilistic models (DPMs) have achieved impressive success in high-resolution image synthesis, especially in recent large-scale text-to-image generation applications. An essential technique for improving the sample quality of DPMs is guided sampling, which usually needs a large guidance scale to obtain the best sample quality. The commonly-used fast sampler for guided sampling is DDIM, a first-order diffusion ODE solver that generally needs 100 to 250 steps for high-quality samples. Although recent works propose dedicated high-order solvers and achieve a further speedup for sampling without guidance, their effectiveness for guided sampling has not been well-tested before. In this work, we demonstrate that previous high-order fast samplers suffer from instability issues, and they even become slower than DDIM when the guidance scale grows large. To further speed up guided sampling, we propose DPM-Solver++, a high-order solver for the guided sampling of DPMs. DPM-Solver++ solves the diffusion ODE with the data prediction model and adopts thresholding methods to keep the solution matches training data distribution. We further propose a multistep variant of DPM-Solver++ to address the instability issue by reducing the effective step size. Experiments show that DPM-Solver++ can generate high-quality samples within only 15 to 20 steps for guided sampling by pixel-space and latent-space DPMs.

研究の動機と目的

• 拡散確率モデル（DPMs）におけるより速く高品質なガイド付きサンプリングの必要性を動機づける。
• 大きなガイダンススケール下で、既存の高次ソルバーの不安定性および訓練データとテストデータのミスマッチの問題を特定する。
• データ予測パラメータ化、閾値処理、マルチステップ戦略を用いて、迅速で安定したガイド付きサンプリングを可能にする DPM-Solver++ を提案する。
• ピクセル空間と潜在空間のDPMの両方におけるガイド付きサンプリングで有効性を実証する。
• 理論的収束保証と実用的アルゴリズムを備えた訓練フリーのソルバー手法を提供する。

提案手法

• ノイズ予測モデル epsilon_theta ではなく、データ予測モデル x_theta を用いて拡散ODEを解く。
• テイラー積分と解析的積分項を用いた二次のシングルステップ方式に基づく高次ソルバー (DPM-Solver++(2S)) を開発する。
• 前の解を再利用して関数評価を削減する第2の二次マルチステップ変種 (DPM-Solver++(2M)) を導入する。
• 大きなガイダンススケール下でサンプルを訓練データ分布の境界内に保つための閾値処理を組み込む。
• 収束保証を備えたアルゴリズム1 (2S) およびアルゴリズム2 (2M) を提供し、指数積分子フレームワークと関連付ける。
• 補完的なソルバーのために拡散SDE形式 (SDE-DPM-Solver++ 変種) へ拡張することも可能。

実験結果

リサーチクエスチョン

• RQ1 訓練フリーで高次のソルバーが、安定性を損なうことなく大きなガイダンススケールでDPMのガイド付きサンプリングを信頼性高く実行できるか。
• RQ2 データ予測モデルでODEをパラメータ化することは、ガイド付きサンプリング下でサンプル品質と安定性にどう影響するか。
• RQ3 マルチステップ戦略は、シングルステップの高次法と比較して効率を改善し、不安定性を低減するか。
• RQ4 DPM-Solver++ は、ピクセル空間と潜在空間の両方のDPMにおけるガイド付きタスクで有効か。
• RQ5 閾値処理が高次のガイド付きサンプラーとどのように相互作用して訓練データとテストデータのミスマッチを緩和するか。

主な発見

• DPM-Solver++ は 15–20 ステップで高品質なガイド付きサンプルを生成でき、ガイド付きサンプリングの従来の高速サンプラーを上回る。
• データ予測モデルと閾値処理を用いることで、訓練データとテストデータのミスマッチを緩和し、大きなガイダンススケール下での安定性を向上させる。
• 第2の二次マルチステップ変種(2M)は前情報を再利用することで効率を向上させ、シングルステップ版(2S)よりやや優れることがある。
• このアプローチはピクセル空間と潜在空間のDPMの両方に適用可能であり、ガイド付きサンプリングタスクに対する適用範囲の広さを示している。
• DPM-Solver++ は DDIM をその一階に統合・拡張し、訓練フリーの代替案で強力な実証的性能を提供する。