[論文レビュー] Conditional Image Generation with Score-Based Diffusion Models

Georgios Batzolis, Jan Stanczuk+2 more|arXiv (Cornell University)|Nov 26, 2021

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 8

ひとこと要約

本稿では、スコアベースの拡散モデルを用いた条件付き画像生成のためのマルチスピード拡散フレームワークを提案する。新たに導入された条件付きマルチスピード拡散推定器（CMDE）により、既存の手法が統合される。条件付きノイズ除去推定器の理論的裏付けが提供され、超解像、穴埋め、エッジから画像への変換というタスクで最先端の性能を達成している。再現性およびさらなる研究を支援するため、オープンソースのライブラリ MSDiff を公開している。

ABSTRACT

Score-based diffusion models have emerged as one of the most promising frameworks for deep generative modelling. In this work we conduct a systematic comparison and theoretical analysis of different approaches to learning conditional probability distributions with score-based diffusion models. In particular, we prove results which provide a theoretical justification for one of the most successful estimators of the conditional score. Moreover, we introduce a multi-speed diffusion framework, which leads to a new estimator for the conditional score, performing on par with previous state-of-the-art approaches. Our theoretical and experimental findings are accompanied by an open source library MSDiff which allows for application and further research of multi-speed diffusion models.

研究の動機と目的

• 条件付き画像生成のためのスコアベース拡散モデルを体系的に比較・分析すること。
• これまで形式的に証明されていなかったが広く使われてきた条件付きノイズ除去推定器の理論的裏付けを提供すること。
• 新たな一貫した推定器としての条件付きスコアの推定を可能にするマルチスピード拡散フレームワークを開発すること。
• 超解像、穴埋め、エッジから画像への変換といったベンチマークタスクにおいて、提案手法の評価を行うこと。
• 今後の研究を支援するため、条件付きおよびマルチスピード拡散モデル分野における研究を促進するオープンソースのライブラリMSDiffを公開すること。

提案手法

• 画像の異なる空間的領域が異なる速度で拡散するマルチスピード拡散フレームワークを提案し、ノイズ注入に対する局所的制御を可能にする。
• 条件付きマルチスピード拡散推定器（CMDE）を導入し、拡散画像と条件の同時スコアをモデル化することで、条件付きスコアを推定する。
• 連続時間におけるスコアベースと拡散ベースの生成モデリングを統合するため、確率的微分方程式（SDE）の定式化を採用する。
• 拡散画像と条件の連結入力を扱えるように改造されたアーキテクチャを備えた共有スコアモデルを用いる。
• 訓練の安定化のため、先行研究から採用された指数移動平均（EMA）および標準的な訓練プロトコルを適用する。
• 一貫したアーキテクチャとハイパーパrameterを用いて、複数の条件付き画像生成タスクにおいて手法を検証し、公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 スコアベース拡散モデルは、条件付き画像生成に効果的に適応可能であり、どの推定器が最高のパフォーマンスを発揮するか？
• RQ2 実験的に使用されてきたが形式的に検証されていなかった条件付きノイズ除去推定器の理論的裏付けは何か？
• RQ3 空間的に適応的なノイズスケジューリングを可能にするマルチスピード拡散フレームワークは、条件付きスコア推定を向上させ得るか？
• RQ4 提案されたCMDE推定器は、多様な条件付き生成タスクにおいて、画像品質および尤度推定の観点で、既存手法と比較してどのように差をつけるか？
• RQ5 マルチスピード拡散は、条件付き画像生成における訓練効率およびモデル表現力にどのような実用的影響を及えるか？

主な発見

• 条件付きノイズ除去推定器は、やや厳しい正則性条件のもとで、条件付きスコアの一貫した推定器として理論的に正当化される。
• 提案されたCMDE推定器は、超解像、穴埋め、エッジから画像への変換というタスクにおいて、最先端の手法と同等の性能を達成する。
• マルチスピード拡散フレームワークにより、空間的に変化するノイズスケジュールを許容することで、条件付き分布のより柔軟で表現力のあるモデリングが可能になる。
• 実験的結果から、CMDE推定器は多様な条件付き画像生成ベンチマークにおいて、一般化性能に優れ、従来手法を上回るか同等の性能を示す。
• オープンソースのライブラリMSDiffは、再現性を高め、今後の条件付きおよびマルチスピード拡散モデル分野の研究を促進する。
• 理論的分析により、ノイズ分散が減少するにつれてCMDE推定器が真の条件付きスコアに収束することが確認され、収束速度は滑らかさの仮定に依存する。