[論文レビュー] State of the Art on Diffusion Models for Visual Computing

Ryan Po, Wang Yi-fan+16 more|arXiv (Cornell University)|Oct 11, 2023

Mathematical Biology Tumor Growth被引用数 7

ひとこと要約

この STAR は視覚計算のための拡散モデルの理論、実践、応用を調査し、2D から 4D までの生成/編集を包括し、条件付け、逆運用、パーソナライズ、データセット、指標、課題、社会的影響を強調します。

ABSTRACT

The field of visual computing is rapidly advancing due to the emergence of generative artificial intelligence (AI), which unlocks unprecedented capabilities for the generation, editing, and reconstruction of images, videos, and 3D scenes. In these domains, diffusion models are the generative AI architecture of choice. Within the last year alone, the literature on diffusion-based tools and applications has seen exponential growth and relevant papers are published across the computer graphics, computer vision, and AI communities with new works appearing daily on arXiv. This rapid growth of the field makes it difficult to keep up with all recent developments. The goal of this state-of-the-art report (STAR) is to introduce the basic mathematical concepts of diffusion models, implementation details and design choices of the popular Stable Diffusion model, as well as overview important aspects of these generative AI tools, including personalization, conditioning, inversion, among others. Moreover, we give a comprehensive overview of the rapidly growing literature on diffusion-based generation and editing, categorized by the type of generated medium, including 2D images, videos, 3D objects, locomotion, and 4D scenes. Finally, we discuss available datasets, metrics, open challenges, and social implications. This STAR provides an intuitive starting point to explore this exciting topic for researchers, artists, and practitioners alike.

研究の動機と目的

• 視覚計算に適用される拡散モデルの基本理論と数学を導入する。
• 2D、動画、3D、4Dデータにまたがる拡散ベース生成・編集の構造化されたメディア志向の概要を提供する。
• 拡散モデルに影響を与えるデータの可用性、評価指標、実用的な設計選択について論じる。
• 将来の研究と責任ある使用を導くための未解決の課題と社会的影響を強調する。

提案手法

• 拡散過程とスコアベースのノイズ除去フレームワークを核心の数学的基盤として提示する。
• エンコーダ–デコーダアーキテクチャを持つ潜在空間で動作することで計算コストを削減する潜在拡散モデル（LDM）を使用する。
• クロスアテンション、連結、分類器なしガイダンスを含む条件付けと指引機構を説明する。
• 出力の操作性と個別化を可能にする編集、逆推定、カスタマイズ技術を説明する。
• データセットと指標、データセットと評価指標、課題、社会的影響について議論しつつ、2D画像、動画、3Dオブジェクト/シーン、4D時空データ全体での拡散モデルの応用を要約する。

Figure 1 : Diffusion Process. (A) The forward SDE transforms images to noise. The forward SDE can be reversed [ And82 ] if we can predict the score function, enabling image synthesis. (B) The distributions of images and noise are linked with stochastic trajectories, modeled by SDEs, and deterministi

実験結果

リサーチクエスチョン

• RQ1 視覚計算に適用される拡散モデルの本質的な数学的基盤と実践的設計選択は何か。
• RQ2 条件付けと指導機構は、2D、動画、3D、4Dコンテンツにおける制御可能な生成をどのように可能にするか。
• RQ3 拡散ベースのワークフローにおける効果的な編集、逆推定、カスタマイズ技術は何か。
• RQ4 現在および将来の拡散モデルシステムを形作るデータセット、指標、未解決の課題、社会的影響は何か。

主な発見

• 拡散モデルは視覚計算における画像、動画、3Dオブジェクト、4Dシーンの生成と編集のデファクトスタンダードとなっている。
• 潜在拡散モデルは圧縮された潜在空間で動作しながら知覚品質を保つことで計算コストを低減する。
• クロスアテンションとガイダンス手法（分類器なしガイダンスを含む）を通じた条件付けは、出力の柔軟な制御と多様性と品質のトレードオフを提供する。
• 編集と逆推定技術（例：DDIM逆推定、テキスト逆推定、DreamBooth風のカスタマイズ）は、ターゲットを絞った操作と個別化を可能にする。
• STAR はデータセット、評価指標、未解決課題、社会的影響について論じ、急速な成長と責任ある開発の必要性を強調している。

Figure 2 : Stable Diffusion. This schematic shows an overview of the latent diffusion approach, including encoder $\mathcal{E}$ , decoder $\mathcal{D}$ , and conditioning using a cross-attention mechanism. Figure adapted from [ RBL ∗ 22 ] .