[論文レビュー] On Fast Sampling of Diffusion Probabilistic Models

Zhifeng Kong, Wei Ping|arXiv (Cornell University)|May 31, 2021

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 53

ひとこと要約

FastDPMは、連続拡散ステップを連続ノイズレベルに写像することで再訓練不要な統一フレームワークを提供し、画像および音声タスクでサンプル品質を改善する新しいバリアントを生み出し、拡散モデルのサンプリングを高速化します。

ABSTRACT

In this work, we propose FastDPM, a unified framework for fast sampling in diffusion probabilistic models. FastDPM generalizes previous methods and gives rise to new algorithms with improved sample quality. We systematically investigate the fast sampling methods under this framework across different domains, on different datasets, and with different amount of conditional information provided for generation. We find the performance of a particular method depends on data domains (e.g., image or audio), the trade-off between sampling speed and sample quality, and the amount of conditional information. We further provide insights and recipes on the choice of methods for practitioners.

研究の動機と目的

• 再訓練なしで高速拡散モデルサンプリングの統一フレームワーク（FastDPM）を提案する。
• 離散拡散ステップを連続ステップへ一般化し、連続ノイズレベルと全単射関係を確立する。
• S << T の短い長さで近似拡散プロセスと逆過程を構築し、サンプリングを高速化する。
• FastDPMを画像および音声ドメイン全体で評価し、手法選択に関する実践的な指針を提供する。

提案手法

• 連続拡散ステップ t とノイズレベル r の間に、ノイズスケジュールの Gamma-based 拡張を用いた全単射写像を導入する。
• r1>r2>...>rS からなる短いノイズレベル列と対応する分散 ηs を持つ近似拡散プロセスを定義する。
• 同じノイズレベルで条件付けされた近似逆過程を定義し、二つのサンプリング変種：DDPM-rev（確率的）と DDIM-rev（決定的）を用意する。
• ノイズレベルの二つのスケジューリング戦略を検討する：VAR（分散から）と STEP（選択された拡散ステップから）。
• DDIM-rev は FastDPM 内の DDIM フレームワークの特別なケースに対応することを示し、従来手法（DDIM、DiffWave）との関係を示す。
• 確率性 κ と条件情報の量が、ドメイン間の性能にどう影響するかを評価する。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしで拡散モデルのサンプリングを高速化しつつ、サンプル品質を維持または向上させるにはどうすれば良いか。
• RQ2 連続拡散ステップとノイズレベルの全単射を用いることが、画像生成と音声生成のタスクにどのような影響を与えるか。
• RQ3 VAR と STEP のノイズレベルスケジュール、および DDPM-rev と DDIM-rev の逆過程の組み合わせのうち、異なるドメインで最適なトレードオフを生むのはどの組み合わせか。
• RQ4 条件情報の量は、FastDPM における好ましい逆過程と確率性のレベルにどのような影響を与えるか。

主な発見

• Deterministic DDIM-rev は画像生成で確率的 DDPM-rev より優れている傾向があり、一方で音声合成では DDPM-rev が DDIM-rev を上回る。
• 画像タスクでは確率性を低くすると品質が一般的に向上するが、音声タスクでは確率性を高めると品質が向上する可能性がある。
• VAR と STEP は同程度の性能を示し、S が小さい場合には VAR が若干有利であるが、S が増えるとその利点は modest に移動する。
• 条件情報の量は好ましい逆過程と確率性レベルに影響を与え、より多くの条件付けは確率性の必要性を低減する。
• FastDPM は元の DDPM の長さ T よりはるかに小さい S で高品質サンプルを達成し、データセット全体で速度と品質の有効なトレードオフを示す。