[論文レビュー] UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models

Wenliang Zhao, Lujia Bai+3 more|arXiv (Cornell University)|Feb 9, 2023

Cell Image Analysis Techniques被引用数 29

ひとこと要約

UniPCは訓練不要の統一型予測子-修正子フレームワークを導入し、拡散モデルのサンプリングを加速させ、任意の次数で追加のモデル評価なしに高次の精度を達成します。無条件および条件付きタスクで、非常に少ない関数評価数で実証されています。

ABSTRACT

Diffusion probabilistic models (DPMs) have demonstrated a very promising ability in high-resolution image synthesis. However, sampling from a pre-trained DPM is time-consuming due to the multiple evaluations of the denoising network, making it more and more important to accelerate the sampling of DPMs. Despite recent progress in designing fast samplers, existing methods still cannot generate satisfying images in many applications where fewer steps (e.g., $<$10) are favored. In this paper, we develop a unified corrector (UniC) that can be applied after any existing DPM sampler to increase the order of accuracy without extra model evaluations, and derive a unified predictor (UniP) that supports arbitrary order as a byproduct. Combining UniP and UniC, we propose a unified predictor-corrector framework called UniPC for the fast sampling of DPMs, which has a unified analytical form for any order and can significantly improve the sampling quality over previous methods, especially in extremely few steps. We evaluate our methods through extensive experiments including both unconditional and conditional sampling using pixel-space and latent-space DPMs. Our UniPC can achieve 3.87 FID on CIFAR10 (unconditional) and 7.51 FID on ImageNet 256$ imes$256 (conditional) with only 10 function evaluations. Code is available at https://github.com/wl-zhao/UniPC.

研究の動機と目的

• 高解像度の画像合成のための拡散確率モデル(DPMs)の高速サンプリングを促進する。
• 追加のモデル評価を必要とせず、サンプリング精度を高める訓練不要のフレームワークを開発する。
• 統一予測子(UniP)と統一修正子(UniC)を提供し、任意の次数に対応する柔軟なUniPCフレームワークを生み出す。

提案手法

• 追加評価なしで、現在の推定値を現在と過去のモデル出力を用いて精練する修正子 UniC-p を導入する。
• 以前の点を活用して p-次の精度を達成する予測子 UniP-p を導出する。
• UniPとUniCを結合して、任意の次数（p+1精度）に使用可能な閉形式・次数統一フレームワークを備えた統一型予測子-修正子ファミリー UniPC を構成する。
• 正則性条件の下で UniC-p が (p+1) 次の精度を達成し、 UniP-p が p-次の精度を与えることを示し、より高次の UniPC バリアントを可能にする。
• 過去の結果を再利用する多段更新を有効化して効率を高め、既存のソルバーと併用して精度を向上させる UniPC-p のバリアントを提供する。

実験結果

リサーチクエスチョン

• RQ1 訓練不要の予測子-修正子フレームワークは、関数評価を増やさずに拡散モデルサンプラーの次数を高めることができるか？
• RQ2 UniPCは任意の次数に対して統一的な解析形を提供するか、また無条件・条件付き設定における従来の高速サンプルとどう比較されるか？
• RQ3 後処理の修正子として適用した場合、UniCは既存のサンプルをどの程度改善できるか？
• RQ4 ピクセル空間および潜在空間の DPM における UniPC の実用的なトレードオフ（速度、メモリ、安定性）はどうなるか？

主な発見

• UniPC は、他の手法より高いサンプリング品質を 5–10 の関数評価(NFE)で達成し、10 NFEs で CIFAR10 (無条件) の 3.87 FID、ImageNet 256×256 (条件付き) の 7.51 FID を達成。
• UniC は既存のサンプラーの後に適用して追加のモデル評価なしに精度を向上させることができ、UniP は次数互換の予測子を提供し、統一的な (p+1)-次のフレームワークを可能にする。
• 統一フレームワークは解析形を持ち任意の次数をサポートし、マルチステップの UniPC 更新は過去の結果を再利用して、速度とメモリの点で DPM-Solver++ に匹敵する効率を実現する。
• UniPC はピクセル空間と潜在空間の拡散モデルの両方を改善し、分類器ガイダンスおよび分類器なしガイダンスの下でのガイダンス付きサンプリングを強化する。
• 実証的結果は、非常に低い NFE で、無条件および条件付きタスクとさまざまなデータセット（CIFAR10、FFHQ、LSUN、ImageNet）において、UniPC が従来の高速サンプラーを上回ることを示す。
• UniPC 内のカスタマイズ可能な次数スケジュールは、単に次数を上げるより良い結果を生む可能性があり、UniPC は推論速度とメモリ使用量の点でも競争力を維持する。