[論文レビュー] On the Design Fundamentals of Diffusion Models: A Survey

Ziyi Chang, George Alex Koulieris+2 more|arXiv (Cornell University)|Jun 7, 2023

Statistical Methods and Bayesian Inference被引用数 46

ひとこと要約

本論文は拡散モデルを部品ごとに包括的に概説し、離散・連続のいずれの定式化においても、前方過程、逆過程、サンプリング手順の設計選択を詳述する。

ABSTRACT

Diffusion models are learning pattern-learning systems to model and sample from data distributions with three functional components namely the forward process, the reverse process, and the sampling process. The components of diffusion models have gained significant attention with many design factors being considered in common practice. Existing reviews have primarily focused on higher-level solutions, covering less on the design fundamentals of components. This study seeks to address this gap by providing a comprehensive and coherent review of seminal designable factors within each functional component of diffusion models. This provides a finer-grained perspective of diffusion models, benefiting future studies in the analysis of individual components, the design factors for different purposes, and the implementation of diffusion models.

研究の動機と目的

• 拡散モデルの設計の基本を、三つの核心要素である前方過程、逆過程、サンプリング手順に整理する。
• 拡散モデルの分析・適用性・実装を支援する、細粒度で部品レベルのレビューを提供する。
• 離散定式化と連続定式化を比較し、データ特性とノイズ設計が学習と生成に与える影響を検討する。

提案手法

• 前方過程のノイズスケジュール、ノイズの種類、遷移連鎖を含む拡散モデルの設計選択に関する文献を調査・総合する。
• 逆過程のアーキテクチャと出力パラメータ化を説明する。特にU-NetおよびTransformerベースのデノイザーとそれらの学習方法。
• サンプリング手順と事前学習済みデノイザーが新しいデータを生成する方法を説明する。異なる出力パラメータ化（x0、ε̂t、ŝt など）を含む。
• 連続時間（SDE）および離散時間（DDPM）定式化と、それらが理論と実践に及ぼす影響を提示する。
• 表現力と効率性を向上させる設計上の手段として、データ特性、潜在空間、系統的な遷移を議論する。

実験結果

リサーチクエスチョン

• RQ1 前方過程の標準的な設計選択は何であり、それらは学習と生成にどのような影響を与えるか？
• RQ2 時刻をまたいで正確にデノイズするために、逆過程はどのようにパラメータ化され、訓練されるべきか？
• RQ3 離散的なタイムステップと連続的なタイムステップが拡散モデルの理論と実践に与える影響は何か？
• RQ4 ノイズスケジュール、ノイズの種類、遷移連鎖がモデルの性能と収束に与える影響は？
• RQ5 データ特性と潜在表現をいかに活用して拡散モデルの表現力を高められるか？

主な発見

• 前方過程は訓練可能なパラメータを持たない時系列順の連鎖を介してノイズを加え、扱いやすい終端分布をもたらす。
• 離散DDPMと連続SDE定式化は、異なる数理表現を通じて同等の結末を提供し、訓練とサンプリングを導く。
• ノイズスケジュールとノイズの種類は、探索と活用のバランスとモデルの表現力を決定的に形作る。
• 逆過程は通常、平均が学習可能で分散は固定または学習されるガウス分布としてモデル化され、出力として x̂0、ε̂t、または ŝt のようなパラメータ化で表現される。
• 一般的なデノイジングアーキテクチャにはU-NetとTransformerがあり、スキップ接続とクロスアテンションを活用したハイブリッドが、局所的依存と全体的依存のバランスを取る。
• サンプリングは訓練済みデノイザーを用いて前方チェーンを逆に辿り、データ分布を近似するサンプルを生成する。