[論文レビュー] Denoising Diffusion Bridge Models

Linqi Zhou, Aaron Lou+2 more|arXiv (Cornell University)|Sep 29, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

Denoising Diffusion Bridge Models (DDBMs) は、任意の2つの分布の間でスコアベースの拡散ブリッジを学習することにより、拡散モデルと最適輸送を一般化する包括的な生成モデリングフレームワークを提案する。この手法は、画像翻訳において最先端の性能を達成し、無条件生成でもSOTAのFIDスコアを達成しており、スコアベースの拡散モデルとフローマッチングを1つのストキャスティック微分方程式フレームワークに統合する。

ABSTRACT

Diffusion models are powerful generative models that map noise to data using stochastic processes. However, for many applications such as image editing, the model input comes from a distribution that is not random noise. As such, diffusion models must rely on cumbersome methods like guidance or projected sampling to incorporate this information in the generative process. In our work, we propose Denoising Diffusion Bridge Models (DDBMs), a natural alternative to this paradigm based on diffusion bridges, a family of processes that interpolate between two paired distributions given as endpoints. Our method learns the score of the diffusion bridge from data and maps from one endpoint distribution to the other by solving a (stochastic) differential equation based on the learned score. Our method naturally unifies several classes of generative models, such as score-based diffusion models and OT-Flow-Matching, allowing us to adapt existing design and architectural choices to our more general problem. Empirically, we apply DDBMs to challenging image datasets in both pixel and latent space. On standard image translation problems, DDBMs achieve significant improvement over baseline methods, and, when we reduce the problem to image generation by setting the source distribution to random noise, DDBMs achieve comparable FID scores to state-of-the-art methods despite being built for a more general task.

研究の動機と目的

• 標準の拡散モデルがランダムなノイズ事前分布を仮定しており、画像翻訳のようなノイズでない入力では困難であるという制限に対処する。
• 拡散ブリッジを用いてスコアベースの拡散モデルと最適輸送に基づくフローマッチングを1つのフレームワークに統合する。
• 拡散ブリッジにおける学習済みスコア関数を活用することで、画像間翻訳および無条件生成の性能を向上させる。
• 条件付き生成におけるヒューリスティックな技術（例：ガイダンスやプロジェクションサンプリング）への依存を低減する。

提案手法

• 与えられた2つの分布の間を補間する逆時系列の拡散ブリッジ過程をモデリングし、学習済みスコア関数によって駆動されるストキャスティック微分方程式（SDE）を用いる。
• 問題を拡散ブリッジのスコアを学習する問題として定式化し、SDEの統合により1つの分布から別の分布へのサンプリングを可能にする。
• 事前分布がノイズの場合にスコアベースの拡散モデルに一般化され、経路が決定論的である場合にフローマッチングに一般化されるため、両方のパラダイムを包含する。
• スコアネットワークの学習にはノイズ除去スコアマッチングの目的関数を用い、安定性と性能向上のためのノイズスケジュールと事前処理を適応させる。
• 推論では固定ステップ数のEuler-Maruyamaサンプラーとガイダンススケーリングを用い、タスク間で一貫性を確保する。
• VAEベースのボトルネックを用いてピクセル空間および潜在空間の両方で適用可能であり、高解像度翻訳を効率的に行える。

Figure 1: A schematic for Denoising Diffusion Bridge Models. DDBM uses a diffusion process guided by a drift adjustment (in blue) towards an endpoint ${\mathbf{x}}_{T}=y$ . They lears to reverse such a bridge process by matching the denoising bridge score (in orange), which allows one to reverse fro

実験結果

リサーチクエスチョン

• RQ1 無条件生成と画像間翻訳の両方を自然に扱える包括的な生成モデリングフレームワークを開発できるか？
• RQ2 標準のスコアベースの拡散モデルやフローマッチングと比較して、拡散ブリッジのスコアを学習することは、性能と安定性の面で優れているか？
• RQ3 複雑なガイダンスや反復的精錬に依存せずに、提案手法が競争力のあるFIDおよびLPIPSスコアを達成できるか？
• RQ4 無条件生成に限定した場合でも、フレームワークは最先端の拡散モデルと同等の性能を維持できるか？
• RQ5 潜在空間への一般化が画像品質と構造を保持する上で効果的か？

主な発見

• 潜在空間におけるDay → Night翻訳タスクにおいて、DDBMはFID 27.63を達成し、Pix2Pix (157.1) や SDEdit (151.1) を上回り、IS (3.92) と MSE (0.145) においても2位を記録した。
• ピクセル空間における画像翻訳では、DIODEデータセットでFID 12.38を達成し、Rectified Flow (12.38) や I2SB (15.56) を上回り、LPIPS (0.366) と MSE (0.129) においても最高スコアを記録した。
• CIFAR-10における無条件生成では、FID 5.88を達成し、より一般的なタスクを学習したにもかかわらず、最先端の拡散モデルと同等の性能を示した。
• FFHQ-64×64では、FID 5.21を達成し、無条件画像生成において強力な性能を示した。
• アーキテクチャの変更（例：事前処理やノイズスケジュールの適応）により、入力への感受性の低減と訓練の安定性の向上が確認された。
• 定性的な結果から、高精細な翻訳が実現しており、画像間タスクにおいて構造とアイデンティティの両方が保持されていることが確認された。