[論文レビュー] Blurring Diffusion Models

Emiel Hoogeboom, Tim Salimans|arXiv (Cornell University)|Sep 12, 2022

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本稿では、サンプル品質の向上を目的として、等方的ガウスノイズと決定的ブラー（熱拡散）を組み合わせた、生成モデルの新クラス「Blurring Diffusion Models」を提案する。ブラーが非等方的ガウス拡散と同等であることを示唆することで、標準的なノイズ除去拡散手法を用いた効率的な学習が可能となり、CIFAR10ではFIDスコア3.17、LSUN Churchesでは3.88という最先端のスコアを達成した。

ABSTRACT

Recently, Rissanen et al., (2022) have presented a new type of diffusion process for generative modeling based on heat dissipation, or blurring, as an alternative to isotropic Gaussian diffusion. Here, we show that blurring can equivalently be defined through a Gaussian diffusion process with non-isotropic noise. In making this connection, we bridge the gap between inverse heat dissipation and denoising diffusion, and we shed light on the inductive bias that results from this modeling choice. Finally, we propose a generalized class of diffusion models that offers the best of both standard Gaussian denoising diffusion and inverse heat dissipation, which we call Blurring Diffusion Models.

研究の動機と目的

• 標準的なノイズ除去拡散モデルと逆熱拡散（ブラー）モデルの間のサンプル品質のギャップを埋めること。
• ブラーを非等方的ガウス拡散プロセスと同等として形式化し、既存のノイズ除去拡散手法の利用を可能にすること。
• 等方的ノイズと決定的ブラーの両者の長所を統合する一般化された拡散モデルのクラスを構築すること。
• ブラー強度とノイズスケジュールがモデルの収束性とサンプル品質に与える影響を実証的に評価すること。

提案手法

• モデルは、決定的ブラーと加法的等方的ガウスノイズを組み合わせた拡散プロセスを定義し、全体のプロセスを非等方的ガウス拡散としてモデル化する。
• ブラーと非等方的ノイズを伴うガウス拡散の間の同等性を確立し、マーコフ遷移と周波数空間における対角共分散を可能にする。
• 学習されたepsパrametrizationを用いたノイズ除去プロセスを定式化することで、標準的なノイズ除去拡散目的関数による効率的学習を実現する。
• ブラー強度を制御するための学習可能なノイズスケジュールを用い、$\sigma_{B,t} = \sigma_{B,\max} \sin^2(t\pi/2)$ または $\sin(t\pi/2)$ としてパラメータ化する。
• 周波数空間における対角共分散を活用することで、標準的なノイズ除去拡散と同様に、効率的な推論と学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 ブラー（熱拡散）を非等方的ガウス過程を通じて、標準的なノイズ除去拡散と正式に結びつけることができるか？
• RQ2 ブラーと等方的ノイズを組み合わせることで、標準的なノイズ除去拡散や純粋な逆熱拡散モデルよりもサンプル品質が向上するか？
• RQ3 異なるブラー強度とノイズスケジュールは、学習ダイナミクスと最終的なサンプル品質にどのように影響するか？
• RQ4 ブラーによって導入されるインダクティブバイアスは何か？また、一般化性と知覚的品質の観点から、等方的ノイズと比べてどうなるか？

主な発見

• Blurring Diffusion ModelsはCIFAR10でFIDスコア3.17を達成し、標準的なノイズ除去拡散（3.58）と逆熱拡散モデル（18.96）を上回った。
• LSUN Churches（128×128）ではFIDが3.88に達し、標準的なノイズ除去拡散（4.68）とIHDM（45.1）を上回った。
• 最大ブラー強度が$\sigma_{B,\max} = 20$のモデルは収束が遅いが、低ブラーのモデルよりも優れたサンプル品質を達成しており、正則化効果が示された。
• $\sin^2$ノイズスケジュールは$\sin$スケジュールを上回り、特に高ブラーレベルで顕著で、初期ステップでのブラーの進行がより滑らかであるため。
• CIFAR10における$\sigma_{B,\max} = 20$のモデルは、20万ステップの学習を経て初めてベースラインを上回ったことから、最適な性能を得るには長時間の学習が必要であることが示された。