[論文レビュー] Diffusion Models: A Comprehensive Survey of Methods and Applications

L. Yang, Zhilong Zhang+7 more|arXiv (Cornell University)|Sep 2, 2022

Mathematical Biology Tumor Growth被引用数 150

ひとこと要約

拡散モデルの総合的な調査で、基盤、効率的サンプリング、尤度の改善、特殊構造データの扱いを網羅し、他の生成モデルとの繋がりと広範な応用を概観する。

ABSTRACT

Diffusion models have emerged as a powerful new family of deep generative models with record-breaking performance in many applications, including image synthesis, video generation, and molecule design. In this survey, we provide an overview of the rapidly expanding body of work on diffusion models, categorizing the research into three key areas: efficient sampling, improved likelihood estimation, and handling data with special structures. We also discuss the potential for combining diffusion models with other generative models for enhanced results. We further review the wide-ranging applications of diffusion models in fields spanning from computer vision, natural language generation, temporal data modeling, to interdisciplinary applications in other scientific disciplines. This survey aims to provide a contextualized, in-depth look at the state of diffusion models, identifying the key areas of focus and pointing to potential areas for further exploration. Github: https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy.

研究の動機と目的

• 拡散モデルの基礎（DDPMs、SGMs、Score SDEs）とそれらの接続性について、構造化された概説を提供する。
• 最近の研究を、効率的サンプリング、尤度の改善、特殊構造データの扱いの3カテゴリに分類する。
• 拡散モデルが他の生成モデル（VAE、GAN、正規化フロー、自己回帰、EBMs）とどのように組み合わせるかをレビューする。
• 視覚、自然言語処理、時系列データ、マルチモーダルタスク、学際領域など、広範な応用を調査する。

提案手法

• 三つの主要な定式化（DDPMs、SGMs、Score SDEs）とそれらの統合的視点を説明する。
• 変分下限（VLB）およびスコアマッチング目的による学習を説明する。
• アニール Langevin ダイナミクス、SDE/ODEソルバー、予測子-補正子スキームを含むサンプリング手法を議論する。
• ノイズスケジュール設計、逆分散学習、厳密な尤度の考慮などの最適化技術を示す。
• 効率的なサンプリングカテゴリを概説する：学習不要サンプリングと学習ベースのサンプリング（離散化、蒸留、切り捨て拡散）。
• VAE、GAN、正規化フロー、自己回帰モデル、EBM との繋がりを要約する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの基礎的定式化は何であり、それらはどのように関連するのか（DDPMs、SGMs、Score SDEs）？
• RQ2 品質を損なうことなく、拡散モデルをどのように高速化し、サンプル効率を高められるか？
• RQ3 離散、多様体、不変性などの特殊構造データの扱いと尤度推定を改善するために、拡散モデルをどのように適応させることができるか？
• RQ4 拡散モデルは他の生成モデルファミリー（VAE、GAN、フロー、自己回帰、EBMs）との統合によってどのように接続され、恩恵を受けるのか？
• RQ5 拡散モデルが最も影響を与えうる広範な応用分野と、将来の潜在的方向性は何か？

主な発見

• 拡散モデルは画像合成の最先端として登場しており、動画、分子、その他のドメインでも可能性を示している。
• 本調査は進展を、効率的サンプリング、尤度の改善、そして特殊構造データの取り扱いの3つのカテゴリに分類している。
• 拡散モデルと他の生成モデルを組み合わせてより高い性能を達成する可能性がある。
• 本論文は、コンピュータビジョンから自然言語処理、時系列データ、学際分野に至る広範な応用を調査している。
• 共通の拡散フレームワークの下で、DDPMs、SGMs、Score SDEsが互いに還元できることを示し、統一的な視点を提供する。