[論文レビュー] Score-based Denoising Diffusion with Non-Isotropic Gaussian Noise Models

Vikram Voleti, Christopher Pal+1 more|arXiv (Cornell University)|Oct 21, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文は、標準的な等方的ガウスノイズの代わりに非等方的多変量ガウスノイズ、特にガウス自由場（GFFs）を用いてスコアベースのノイズ除去拡散モデルを一般化することを提案する。これにより相関のある構造的ノイズをモデル化できる。著者らは、この新しい定式化における学習とサンプリングの数学的基盤を導出するとともに、CIFAR-10でGFFノイズを用いて学習したモデルが等方的ベースラインと同等のサンプル品質を達成することを実証的に示し、拡散モデリングにおける非等方的ノイズの実現可能性と潜在的価値を示している。

ABSTRACT

Generative models based on denoising diffusion techniques have led to an unprecedented increase in the quality and diversity of imagery that is now possible to create with neural generative models. However, most contemporary state-of-the-art methods are derived from a standard isotropic Gaussian formulation. In this work we examine the situation where non-isotropic Gaussian distributions are used. We present the key mathematical derivations for creating denoising diffusion models using an underlying non-isotropic Gaussian noise model. We also provide initial experiments with the CIFAR-10 dataset to help verify empirically that this more general modeling approach can also yield high-quality samples.

研究の動機と目的

• 等方的ガウスノイズに限らないスコアベースのノイズ除去拡散モデルを、非等方的多変量ガウスノイズへと拡張すること。
• 特にガウス自由場（GFFs）を含む非等方的ノイズの下での学習とサンプリングの理論的枠組みを導出すること。
• 非等方的ノイズモデルが等方的ベースラインと同等の高品質な生成を達成できることを実証的に検証すること。
• より優れたデータモデリングを可能にする、構造的・相関的なノイズパターンを持つ新しいクラスの拡散モデルを可能にすること。

提案手法

• 共分散行列Σを単位行列ではなく用いる非等方的多変量ガウス分布を用いた前向きノイズ付与プロセスを導出する。
• 非等方的ノイズ下でのベイズの定理と条件付き分布を用いて逆向きのノイズ除去プロセスを再定式化し、平均と分散を適切に調整する。
• スコアの分散の逆数で重み付けされた損失を用いることで、スコアマッチングの目的関数を非等方的ノイズに適応させる。
• 非等方的ノイズを考慮したΣ⁻¹スケーリングを組み込んだ修正されたスコア推定ネットワーク出力を導入し、適切な勾配の流れを保証する。
• 滑らかで相関のあるノイズを生成するために、等方的ノイズの周波数マスキングまたは畳み込みフィルタリングによりGFFを生成し、フレームワークに適用する。
• 非等方的ノイズ下での推定スコアと真のスコアの整合性を保つために、サンプリング中に調和平均に基づく補正を適用する。

実験結果

リサーチクエスチョン

• RQ1 スコアベースのノイズ除去拡散モデルは、等方的から非等方的ガウスノイズ分布へと成功裏に一般化可能か？
• RQ2 非等方的ノイズ下での前向きプロセスと逆向きプロセスの正しい数学的定式化は何か？
• RQ3 ガウス自由場（GFFs）を非等方的ノイズ源として用いることで、画像生成におけるサンプル品質にどのような影響を与えるか？
• RQ4 非等方的ノイズ下でも学習の安定性と性能を維持できるように、スコアマッチングの目的関数をどのように適応可能にするか？
• RQ5 提案された非等方的拡散モデルは、CIFAR-10などの標準ベンチマークで等方的ベースラインと同等のサンプル品質を達成できるか？

主な発見

• 非等方的ノイズ除去拡散モデルの理論的枠組みが成功裏に導出され、標準的なDDPMおよびSMLD定式化が任意の共分散を持つ多変量ガウスノイズへと拡張された。
• 周波数ドメインでのフィルタリングや畳み込み操作を用いて生成されるGFFを非等方的ノイズ源として用いることで、滑らかで相関のあるノイズパターンのモデル化が可能になった。
• CIFAR-10における実証的結果から、提案された非等方的拡散モデルが等方的ベースラインと同等の高品質なサンプルを生成することが確認され、アプローチの有効性が裏付けられた。
• Σ⁻¹スケーリングと調和平均補正を組み込んだ修正されたスコア推定ネットワークにより、非等方的ノイズ下でも正確なスコア推定と安定なサンプリングが保証された。
• 非等方的状況下でのスコア分散の逆数で重み付けされた修正されたスコアマッチング目的関数により、学習収束性と性能が維持された。
• フレームワークは一般性を有し、DDPMおよびSMLDの両バージョンに適用可能であり、付録に両者の導出が示されている。