[論文レビュー] A Survey on Generative Diffusion Model

Hanqun Cao, Cheng Tan+5 more|arXiv (Cornell University)|Sep 6, 2022

Creativity in Education and Neuroscience被引用数 66

ひとこと要約

この調査は、拡散モデルを基礎、アルゴリズムの改善、応用の観点から総合的に分析し、前向き/後向きの定式化、DDPM/score-SDEフレームワーク、条件付き生成を要約するとともに、サンプリング、前方プロセス設計、尤度最適化、分布間ブリッジングの進展を概説する。

ABSTRACT

Deep generative models have unlocked another profound realm of human creativity. By capturing and generalizing patterns within data, we have entered the epoch of all-encompassing Artificial Intelligence for General Creativity (AIGC). Notably, diffusion models, recognized as one of the paramount generative models, materialize human ideation into tangible instances across diverse domains, encompassing imagery, text, speech, biology, and healthcare. To provide advanced and comprehensive insights into diffusion, this survey comprehensively elucidates its developmental trajectory and future directions from three distinct angles: the fundamental formulation of diffusion, algorithmic enhancements, and the manifold applications of diffusion. Each layer is meticulously explored to offer a profound comprehension of its evolution. Structured and summarized approaches are presented in https://github.com/chq1155/A-Survey-on-Generative-Diffusion-Model.

研究の動機と目的

• 拡散モデルの基本的な定式化とその理論的基盤を説明する。
• 拡散モデルの性能を向上させる主要なアルゴリズム的改善と実用的技術を要約する。
• 視覚、言語、医療、科学を含む領域全般にわたる拡散モデルの多様な応用を調査する。
• 拡散モデルの進展と今後の方向性の分類を提供する。

提案手法

• 前方拡散過程と後方拡散過程、および遷移カーネルを説明する。
• DDPMとスコアベースのSDE形式とそれらの訓練目的を説明する。
• 条件付き拡散確率モデルとガイダンス技術を論じる。
• 改善の分類を提示する：サンプリング加速、拡散設計、尤度最適化、ブリッジング分布。
• 潜在空間拡散と非ユークリッド空間/異なるデータ空間への拡張を概説する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの核心となる理論的定式化とそれらとDDPMおよびSDEフレームワークとのつながりは何か。
• RQ2 サンプリングを加速し、訓練および尤度目的を改善するために提案されたアルゴリズム戦略は何か。
• RQ3 拡散モデルは条件付き生成や伝統的でないデータ領域（潜在空間、離散空間、多様体、グラフなど）にどのように拡張されているか。
• RQ4 拡散モデルが成功裏に適用されてきた主な応用分野は何か、そして今後の方向性として特定されているものは何か。

主な発見

• 拡散モデルは、VAE、EBM、NFと比較して安定した訓練と高品質な生成を提供するが、反復的なデノイズ処理のためサンプリングは遅くなる（データへ至る前方プロセスの段階を経る）。
• DDPMとスコアベースSDEの定式化は、デノイジングスコアマッチング目的を伴う補完的な離散・連続フレームワークを提供する。
• 複数のアルゴリズム的改善は、サンプリング加速、拡散過程設計、尤度最適化、ブリッジング分布の分類として整理される。
• 条件付き拡散モデルは、分類器なしのガイダンスなどの手法を用いてラベルやテキストに条件付けた生成を可能にする。
• 潜在空間および非ユークリッド拡張は、拡散の適用範囲を画像、言語、グラフ、分子、多様体へ広げる。
• 本調査は今後の方向性と他の拡散に関する調査との関連を調査し、制限と潜在的な研究の道筋を強調している。