[論文レビュー] Non-Uniform Diffusion Models

Georgios Batzolis, Jan Stanczuk+2 more|arXiv (Cornell University)|Jul 20, 2022

Advanced Neuroimaging Techniques and Applications被引用数 4

ひとこと要約

本論文は、異なる画像領域が別個の確率微分方程式（SDE）に従い、異なる速度で拡散する非一様拡散モデルを導入する。これにより、マルチスケールな生成モデリングが可能となる。提案手法は、均一な拡散と比較して128×128解像度で4.4倍の高速化を達成し、FIDスコアも向上させた。また、条件付きスコア推定器（CMDE）を新たに導入し、条件付き画像生成タスクにおいて既存手法を上回る性能を発揮した。

ABSTRACT

Diffusion models have emerged as one of the most promising frameworks for deep generative modeling. In this work, we explore the potential of non-uniform diffusion models. We show that non-uniform diffusion leads to multi-scale diffusion models which have similar structure to this of multi-scale normalizing flows. We experimentally find that in the same or less training time, the multi-scale diffusion model achieves better FID score than the standard uniform diffusion model. More importantly, it generates samples $4.4$ times faster in $128 imes 128$ resolution. The speed-up is expected to be higher in higher resolutions where more scales are used. Moreover, we show that non-uniform diffusion leads to a novel estimator for the conditional score function which achieves on par performance with the state-of-the-art conditional denoising estimator. Our theoretical and experimental findings are accompanied by an open source library MSDiff which can facilitate further research of non-uniform diffusion models.

研究の動機と目的

• 標準的な拡散モデルの推論時間が長いため、特に高解像度画像生成においてその問題を解決すること。
• 異なる画像領域が異なる速度で拡散する非一様拡散の可能性を検討し、効率性と性能の向上を図ること。
• 従来の条件付きノイズ除去と拡散推定器を統合・改善する新しい条件付きスコア推定器、CMDEを開発すること。
• これまで形式的根拠のないまま広く使われてきた条件付きノイズ除去推定器（CDE）の理論的整合性を提供すること。
• 超解像、穴埋め、エッジから画像への変換という3つのタスクにおいて、条件付きスコア推定手法を実験的に評価・比較すること。

提案手法

• 本論文は、画像の異なる空間的領域が異なるSDEに従い、異なる拡散速度を持つ非一様拡散フレームワークを提案する。これにより、マルチスケールな拡散ダイナミクスが実現される。
• 条件付きマルチスピード拡散推定器（CMDE）を新たに導入し、これは条件付きノイズ除去と条件付き拡散推定の間を補間するスコア関数推定器である。
• 条件付き観測値yに適応する学習可能な拡散速度関数σ^y(t)を用いることで、領域ごとの拡散速度を特定可能にする。
• 条件付きノイズ除去推定器（CDE）の整合性について理論的証明を提供し、実用的利用の正当性を裏付ける。
• 再現可能性およびさらなる研究を支援するため、オープンソースライブラリMSDiffを実装した。
• FID、LPIPS、多様性指標を用いて、超解像、穴埋め、エッジから画像への変換という3つの条件付き画像生成タスクでアプローチを評価した。

実験結果

リサーチクエスチョン

• RQ1 異なる画像領域が異なる速度で拡散する非一様拡散は、より高速かつ正確な生成モデリングを実現できるか？
• RQ2 提案されたCMDE推定器は、既存の条件付きスコア推定器（CDEおよびCDiffE）と比較して、サンプル品質および学習安定性において優れているか？
• RQ3 非一様拡散は、条件付き画像生成における最適化の姿勢と事後分布近似を改善するか？
• RQ4 条件付きノイズ除去推定器（CDE）は理論的に整合的であり、形式的に証明可能か？
• RQ5 マルチスケール拡散フレームワークは、標準的な均一拡散モデルと比較して、より良いFIDスコアを達成し、訓練時間は短く、採番速度を著しく向上させられるか？

主な発見

• マルチスケール拡散モデルは、標準的な均一拡散と比較して128×128解像度で4.4倍の高速化を達成したが、サンプル品質に損なわれることなく、同等の品質を維持した。
• より少ない訓練時間で、マルチスケールモデルは均一ベースラインよりも優れたFIDスコアに到達した。これは、訓練効率の向上を示している。
• 穴埋めおよび超解像タスクにおいて、CMDE推定器はCDEおよびCDiffEをFIDスコアで上回った。これは、より優れた事後分布近似を実現していることを示している。
• エッジから画像への変換タスクでは、CDiffEは一貫したサンプルを生成できなかったが、CMDEおよびCDEは著しく優れた性能を示し、CMDEが最も良いFIDスコアを達成した。
• 本論文は、条件付きノイズ除去推定器（CDE）の整合性について形式的証明を提供し、その広範な使用に対する理論的根拠を提示した。
• 非一様および条件付き拡散モデル分野におけるさらなる研究を支援するため、オープンソースライブラリMSDiffをリリースした。