[論文レビュー] Denoising Diffusion Gamma Models

Eliya Nachmani, Robin San-Roman+1 more|arXiv (Cornell University)|Oct 10, 2021

Music and Audio Processing参考文献 36被引用数 6

ひとこと要約

本稿では、拡散モデルにおけるガウスノイズをガンマ分布ノイズに置き換えることで、画像および音声生成の性能を向上させる、ノイズ除去拡散ガンマモデル（DDGM）を提案する。ガンマ分布の閉形式加法性を利用することで、反復的手順を用いずに効率的なサンプリングが可能となり、最先端のFIDスコアおよび改善されたPESQ/STOI指標を達成し、優れたサンプル品質と高速な収束を示している。

ABSTRACT

Generative diffusion processes are an emerging and effective tool for image and speech generation. In the existing methods, the underlying noise distribution of the diffusion process is Gaussian noise. However, fitting distributions with more degrees of freedom could improve the performance of such generative models. In this work, we investigate other types of noise distribution for the diffusion process. Specifically, we introduce the Denoising Diffusion Gamma Model (DDGM) and show that noise from Gamma distribution provides improved results for image and speech generation. Our approach preserves the ability to efficiently sample state in the training diffusion process while using Gamma noise.

研究の動機と目的

• 拡散モデルにおける非ガウス分布ノイズの利用を検討し、標準的なガウス仮定を超える生成性能の向上を図ること。
• 形状および尺度の2つのパラメータを持つガンマ分布が、拡散プロセスにおけるノイズのモデリング能力をガウスノイズよりも高める可能性があるかどうかを検証すること。
• ガンマノイズを用いながらも、拡散モデルの主要な効率的特性（反復的手順を経ずに任意の状態をサンプリング可能）を維持すること。
• 提案手法DDGMを、画像および音声生成ベンチマークにおいて、標準的なDDPMおよびDDIMモデルと比較して評価すること。
• ガンマノイズが、視覚および音声生成タスクにおいて収束を加速させ、より高品質なサンプルを生成することを実証すること。

提案手法

• 前向き拡散プロセスにおいてガウスノイズをガンマ分布ノイズに置き換えるノイズ除去拡散ガンマモデル（DDGM）を提案する。
• ガンマ分布の閉形式性を活用：同一の尺度パラメータを持つ独立したガンマ変数の和もまたガンマ分布に従うため、再帰的でない複数ステップのノイズ付与が可能になる。
• 逆方向のノイズ除去プロセスおよびガンマ拡散モデルの変分下界を導出することで、学習の安定性と一貫性を確保する。
• 初期の尺度パラメータθ₀を0.001に設定することで最適な性能が得られることを確認し、形状および尺度パラメータでパrameter化されたノイズスケジュールを採用する。
• 既存のDDPMおよびDDIM推論手順をガンマベースのモデルに適応させ、ガウスベースのベースラインと直接比較可能にする。
• CelebAおよびLSUN Churchデータセットにおける公平な評価を確保するため、標準的な学習プロトコル（例：線形βスケジュール、DDPMと同一のハイパーパramータ）を採用する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルにおけるガウスノイズをガンマノイズに置き換えることで、画像および音声タスクにおける生成品質が向上するか？
• RQ2 ガンマ分布の2パラメータの柔軟性が、1パラメータのガウス分布よりも、拡散プロセスにおける残差ノイズのフィットに優れているか？
• RQ3 ガンマ分布の閉形式加法性を活用することで、反復的手順を用いずに効率的なサンプリングを維持できるか？
• RQ4 ガウスベースの拡散モデルと比較して、ガンマノイズの使用が収束速度を向上させ、FID、PESQ、STOIスコアを改善するか？
• RQ5 提案されたDDGMモデルは、異なる推論スケジュールおよびデータセットタイプ（例：CelebA、LSUN Church、LJ Speech）に対して頑健であるか？

主な発見

• CelebA（64×64）データセットにおいて、DDPM推論を用いたDDGMは100ステップでFIDスコア14.22を達成し、ガウスベースのDDPM（45.20）を上回り、1000ステップでのDDPMベースライン（3.26）に近づいた。
• LSUN Church（256×256）データセットにおいて、DDIM推論を用いたDDGMは100ステップでFID8.75を達成したのに対し、ガウスベースのDDIMベースラインは10.58であった。
• LJデータセットにおける音声生成では、DDGMは1000イテレーションでPESQスコア3.308を達成し、WaveGradベースライン（3.290）を上回り、STOIは0.969を記録し、ベースライン（0.959）を上回った。
• ヒストグラムフィッティングにおけるMSEが低かったことから、図1cに示すように、ガンマ分布が拡散プロセスにおける推定された残差ノイズのフィットにガウス分布よりも顕著に優れていた。
• DDGMモデルは、以前のステップを計算せずに拡散チェーン上の任意の状態をサンプリングできる能力を維持しており、標準的な拡散モデルの効率性を保った。
• DDGMによる視覚的サンプルは、特にCelebAにおける顔の特徴の生成において、DDPMおよびDDIMベースラインと比較して、より高い知覚的品質とシャープネスを示した。