[論文レビュー] Diffusion Models in Vision: A Survey

Florinel-Alin Croitoru, Vlad Hondru+2 more|arXiv (Cornell University)|Sep 10, 2022

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

本調査では、コンピュータビジョン分野におけるノイズ除去拡散モデルの包括的概要を提供しており、3つのコアな定式化—DDPM、NCSN、SDE—と、画像生成、超解像、穴埋め、判別的タスクへの応用をカバーしている。計算上の非効率さがあるものの、モデルは最先端のサンプル品質と多様性を達成しており、今後の研究の方向性として、効率的なサンプリング、マルチタスク学習、動画生成が示されている。

ABSTRACT

Denoising diffusion models represent a recent emerging topic in computer vision, demonstrating remarkable results in the area of generative modeling. A diffusion model is a deep generative model that is based on two stages, a forward diffusion stage and a reverse diffusion stage. In the forward diffusion stage, the input data is gradually perturbed over several steps by adding Gaussian noise. In the reverse stage, a model is tasked at recovering the original input data by learning to gradually reverse the diffusion process, step by step. Diffusion models are widely appreciated for the quality and diversity of the generated samples, despite their known computational burdens, i.e. low speeds due to the high number of steps involved during sampling. In this survey, we provide a comprehensive review of articles on denoising diffusion models applied in vision, comprising both theoretical and practical contributions in the field. First, we identify and present three generic diffusion modeling frameworks, which are based on denoising diffusion probabilistic models, noise conditioned score networks, and stochastic differential equations. We further discuss the relations between diffusion models and other deep generative models, including variational auto-encoders, generative adversarial networks, energy-based models, autoregressive models and normalizing flows. Then, we introduce a multi-perspective categorization of diffusion models applied in computer vision. Finally, we illustrate the current limitations of diffusion models and envision some interesting directions for future research.

研究の動機と目的

• ノイズ除去拡散モデルの理論的基盤と実用的応用を網羅的にレビューすること。
• 拡散モデルの3つの主要な定式化—ノイズ除去拡張確率的モデル（DDPM）、ノイズ条件付きスコアネットワーク（NCSN）、確率微分方程式（SDE）—を特定・比較すること。
• 拡散モデルとその他の深層生成モデル（VAE、GAN、ノーマライジングフロー、自己回帰モデル）との関係を分析すること。
• 多角的分類法を用いて、コンピュータビジョン分野における既存の拡散モデルの応用を分類すること。
• 主な限界—特に推論速度とテキスト条件付けの問題—を特定し、今後の研究の方向性を提案すること。

提案手法

• DDPM、NCSN、SDEの3つの理論的フレームワークに拡散モデルを分類し、その数学的定式化と相関関係に焦点を当てる。
• 前向きな拡散プロセスを、時間ステップにわたり繰り返しガウスノイズを加えることで定式化し、データを純粋なノイズに変換する。
• 逆方向の拡散プロセスを、ニューラルネットワークが段階的にノイズを予測・除去することでデータを再構築する学習済みのノイズ除去プロセスとして説明する。
• SDEを統合的フレームワークとして用い、特定のドリフト関数と拡散関数の選択により、DDPMとNCSNが特殊ケースとして導かれる様子を示す。
• VAEの尤度最大化やGANの敵対的訓練といった原理を分析することで、他の生成モデルと拡散モデルを比較する。
• 条件付き生成、画像編集、判別的タスクのための表現学習を含む、多角的視点からの視覚的応用分類を提案する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの3つの主要な定式化—DDPM、NCSN、SDE—は、数学的構造と実装においてどのように異なるか？
• RQ2 GAN や VAE といった他の深層生成モデルと比較して、拡散モデルが持つ主な理論的・実用的利点は何か？
• RQ3 拡散モデルはどのようなコンピュータビジョンタスクで優れた性能を示しており、分布外や複雑なプロンプトに対しても一般化できるか？
• RQ4 現在の拡散モデルの主な限界、特に推論速度とテキスト条件付けに関する問題点は何か？
• RQ5 効率性、多様性、一般化能力を向上させるための今後の研究の方向性は何か？

主な発見

• 拡散モデルは、画像生成において最先端のサンプル品質と多様性を達成しており、Stable Diffusion などのモデルは、現実的でないシナリオに対しても高精細でプロンプトに整合した画像を生成できる。
• 拡散モデルの逆方向ノイズ除去プロセスは、各ステップでスコアベースまたはノイズ除去ベースの予測を用いて、段階的にデータをノイズから再構築する。
• Stable Diffusion は、潜在変数拡散モデル（LDM）の一種であり、未学習のテキストプロンプトに対しても強力なゼロショット一般化を示しており、堅牢な条件付き生成能力を示している。
• 高いサンプル品質を誇る一方で、多くの推論ステップ（例：50～1000）を要するため、GAN よりも著しく遅く、リアルタイム生成には不向きである。
• テキスト条件付けに用いられるCLIP埋め込みは、綴りや言語的制限を引き継ぐため、生成画像内に読み取り可能なテキストを生成できない場合がある。
• 拡散モデルから得られる潜在表現は、画像セグメンテーション、分類、異常検出といった判別的タスクにおいても有効であり、強力な特徴学習能力を示している。