[論文レビュー] Let us Build Bridges: Understanding and Extending Diffusion Generative Models

Xingchao Liu, Lemeng Wu+2 more|arXiv (Cornell University)|Aug 31, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、埋め込み拡散ブリッジ過程を有する潜在変数モデルとしての枠組みを提示することで、拡散生成モデルの理解と拡張を統一的に可能にする。x-ブリッジおよびΩ-ブリッジの体系的構築法を導入し、離散的・構造的・非ユークリッドデータを含む任意のドメインでの学習を可能にし、画像、セマンティックセグメンテーション、3Dポイントクラウドにおいて最先端の性能を達成。理論的誤差解析と高いサンプリング効率を実現。

ABSTRACT

Diffusion-based generative models have achieved promising results recently, but raise an array of open questions in terms of conceptual understanding, theoretical analysis, algorithm improvement and extensions to discrete, structured, non-Euclidean domains. This work tries to re-exam the overall framework, in order to gain better theoretical understandings and develop algorithmic extensions for data from arbitrary domains. By viewing diffusion models as latent variable models with unobserved diffusion trajectories and applying maximum likelihood estimation (MLE) with latent trajectories imputed from an auxiliary distribution, we show that both the model construction and the imputation of latent trajectories amount to constructing diffusion bridge processes that achieve deterministic values and constraints at end point, for which we provide a systematic study and a suit of tools. Leveraging our framework, we present 1) a first theoretical error analysis for learning diffusion generation models, and 2) a simple and unified approach to learning on data from different discrete and constrained domains. Experiments show that our methods perform superbly on generating images, semantic segments and 3D point clouds.

研究の動機と目的

• 連続的ユークリッド領域を超える拡散生成モデルにおける設計選択、解釈可能性、一般化に関する概念的・理論的ギャップを解消すること。
• 観測データ点や制約付きドメインに対して、終端時刻で決定論的に到達する潜在軌道（拡散ブリッジ）を体系的に構築する手法を開発すること。
• 離散的・順序的・カテゴリカル・混合タイプのデータを含む、任意のデータドメインΩ ⊆ ℝᵈにおける効果的学習を、普遍的かつ原理的アプローチにより可能にすること。
• 拡散モデル学習のための最初の理論的誤差解析を提供し、統計誤差と時間離散化誤差の両方を定量的に評価すること。
• ドメイン特有の修正（例：デクアンタイゼーションやマルチノミアル拡散）を追加せずに、非ユークリッド的・制約付きデータへの適用を拡張し、サンプリング効率を向上させること。

提案手法

• 観測されない拡散軌道を補助分布を用いて補完することで、潜在変数モデルとしての拡散モデルを再定式化し、最尤推定を可能にする。
• 終端時刻Tで与えられたデータ点xに決定論的に到達する潜在軌道を生成するx-ブリッジを導入する。
• 終端時刻Tで制約付きドメインΩにほとんど確実に到達する軌道を生成するΩ-ブリッジを導入する。これにより、構造的・離散的データのモデリングが可能になる。
• 補完された軌道を用いて尤度を最大化することで生成モデルを構築し、ドリフト関数sθをニューラルネットワークで学習する。
• Euler-Maruyamaスキームを用いた時間離散化されたSDEを用い、サンプルサイズnとステップサイズεの観点から誤差バウンドを導出する。
• ノイズスケジュール（例：減衰、Ornstein-Uhlenbeck過程）を適用し、ノイズの大きさを時間経過とともに制御することで、柔軟かつ効率的なサンプリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 拡散生成モデルは、どのように統一的統計的フレームワークの下で理論的に理解され、統合されるか？
• RQ2 潜在軌道補完の根本的役割とは何か？ そして、どのように体系的に構築可能か？
• RQ3 離散的・構造的データを含む任意のデータドメインにおける拡散モデルの学習を可能にする、一様で普遍的な手法を開発可能か？
• RQ4 拡散モデル学習の理論的誤差バウンドは何か？ そして、統計誤差と離散化誤差は、データサイズとステップサイズにどのように依存するか？
• RQ5 多様なデータタイプにわたり、高い生成品質を維持しつつ、サンプリング効率をどのように向上できるか？

主な発見

• 提案フレームワークは、離散的CIFAR-10生成においてFIDスコア6.52、ISスコア8.84の最先端性能を達成。従来の拡散モデルを上回り、GANと同等の性能を示した。
• 理論的解析により、真の分布と学習済み分布のKLダイバージェンスがO((log(1/ε) + 1)/n + ε)のレートで収束することが示され、拡散モデル学習に対する最初の包括的誤差バウンドを提供した。
• CityScapesにおけるセマンティックセグメンテーションマップの高精細生成に成功。ピクセルベクトルの8つの次元中7つが0または1となり、有効なワンホットベクトルを形成した。
• ノイズ減衰スケジュール（A, B, C）を用いたブリッジ変種は、連続的CIFAR-10で高品質な画像を生成し、DDPMや他の最先端拡散モデルと同等またはそれを上回る性能を示した。
• デクアンタイゼーションやマルチノミアル拡散などのドメイン特有の修正を一切必要とせず、3Dポイントクラウドや離散的データの生成に成功した。
• 一様なアルゴリズム的手法により、境界付き・非境界付き・連続的・離散的データを含む多様なドメインで、サンプリングの高速化とロバストネスを示した。