[論文レビュー] Restart Sampling for Improving Generative Processes

Yilun Xu, Mingyang Deng+4 more|arXiv (Cornell University)|Jun 26, 2023

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

Restart samplingを導入し、large-noise forwardをforwardとbackward ODEと interleave することで、確率性からの収束性と低い離散化誤差を組み合わせ、従来のODEサンプルやSDEサンプルよりも高速かつ高品質な生成サンプリングを実現します。

ABSTRACT

Generative processes that involve solving differential equations, such as diffusion models, frequently necessitate balancing speed and quality. ODE-based samplers are fast but plateau in performance while SDE-based samplers deliver higher sample quality at the cost of increased sampling time. We attribute this difference to sampling errors: ODE-samplers involve smaller discretization errors while stochasticity in SDE contracts accumulated errors. Based on these findings, we propose a novel sampling algorithm called Restart in order to better balance discretization errors and contraction. The sampling method alternates between adding substantial noise in additional forward steps and strictly following a backward ODE. Empirically, Restart sampler surpasses previous SDE and ODE samplers in both speed and accuracy. Restart not only outperforms the previous best SDE results, but also accelerates the sampling speed by 10-fold / 2-fold on CIFAR-10 / ImageNet $64 imes 64$. In addition, it attains significantly better sample quality than ODE samplers within comparable sampling times. Moreover, Restart better balances text-image alignment/visual quality versus diversity than previous samplers in the large-scale text-to-image Stable Diffusion model pre-trained on LAION $512 imes 512$. Code is available at https://github.com/Newbeeer/diffusion_restart_sampling

研究の動機と目的

• 微分方程式ベースの生成モデル（ODE vs SDEサンプリング）における速度と品質のトレードオフを動機づける。
• ODEとSDEサンプラーにおける離散化誤差と収束性がどのように相互作用するかを理論的に分析する。
• 確率性と決定論的なODEステップを組み合わせて性能を向上させるRestart samplingアルゴリズムを提案する。
• Restartが従来の求解器よりも速度と品質で上回ることを示す理論的境界と実証的証拠を提供する。

提案手法

• ODEおよびSDEサンプラーを特徴づけ、データ分布へのWasserstein-1距離の上限を導出する。
• 時間区間内で前方ノイズと後方ODEサイクルを繰り返すRestart samplingを導入し、初期誤差の収束を増幅する。
• Restartの各反復で大規模なノイズ前進と決定論的な後方ODEを実行し、確率性を拡散から分離する。
• Restart間隔とRestart回数(K)の選択に関する指針を提供し、収束と追加サンプリング誤差のバランスを取る。
• Restartにより離散化誤差を小さくしつつ確率的収束の恩恵を受け、-fast samplingを実現することを示す。

実験結果

リサーチクエスチョン

• RQ1 離散化誤差と確率的収束がODEサンプラーとSDEサンプラーのサンプリング品質にどのように影響するか？
• RQ2 Restart戦略は大きな前方ノイズと決定論的な後方ダイナミクスを活用して、ODEサンプラーとSDEサンプラーの両方を上回ることができるか？
• RQ3 Restartの有効性を支える理論的保証（Wasserstein境界）は何か？
• RQ4 異なるモデルとデータセットに対してRestart間隔とKを選択する実践的ガイドラインは？
• RQ5 Restartは標準的なベンチマークや大規模なテキストから画像モデルで速度と品質を改善するか？

主な発見

Model	NFE	FID
EDM-VP [13] ODE (Heun)	63	1.97
EDM-VP [13] ODE (Heun)	35	1.97
EDM-VP [13] Improved SDE	63	2.27
EDM-VP [13] Improved SDE	35	2.45
CIFAR-10 Restart	43	1.90
PFGM++ [28] ODE (Heun)	63	1.91
PFGM++ [28] ODE (Heun)	35	1.91
PFGM++ [28] Restart	43	1.88

• Restartは、NFEs、データセット、事前学習モデルを問わず、サンプル品質と速度の両方で従来のODEサンプルおよびSDEサンプルを一貫して上回る。
• VPを用いたCIFAR-10で、Restartは従来の最良SDE結果と同等のFID付近でより高速（または約10倍高速、あるいは約2倍高速）サンプリングを実現し、従来の高速ODEソルバーを凌駕する。
• RestartはEDMを用いたクラス条件付きImageNet 64×64（新しいSOTAのFID1.36）やPFGM++を用いた無条件CIFAR-10のFID1.88など、追加の学習なしで新しい最先端FIDを達成する。
• Stable DiffusionにおけるLAION-5B上でのテキスト画像トレードオフを、テキスト–画像整合性/視覚品質と多様性のバランスの点で従来のサンプラーよりも改善する。
• 理論分析により、RestartはSDEおよびODEの両方よりも小さなWasserstein上限を生み出し、より強い収束性とODE様の離散化誤差によって、収束性はRestart回数Kの増加とともに指数関数的に上昇する（他の要因に依存する範囲がある）。
• 実証結果にはParetoフロンティア分析が含まれ、Restartが追加サンプリング誤差に対して収束誤差を低く抑えられることを示し、低-NFEおよび高-NFEの両方の領域で利点を示す。