[論文レビュー] PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Driven Adaptive Prior

Sang-gil Lee, Heeseung Kim+8 more|arXiv (Cornell University)|Jun 11, 2021

Music and Audio Processing参考文献 38被引用数 12

ひとこと要約

PriorGrad は、条件付きノイズ除去拡散モデルを、入力の条件統計に基づいて学習されるデータ駆動型で適応的な事前分布に置き換えることで改善する。標準のガウス事前分布に代わるものであり、収束速度の向上、サンプル品質の向上、音声生成タスク（例：ボコーダーのモデリング）におけるデータおよびパrameter効率の向上を実現する。

ABSTRACT

Denoising diffusion probabilistic models have been recently proposed to generate high-quality samples by estimating the gradient of the data density. The framework assumes the prior noise as a standard Gaussian distribution, whereas the corresponding data distribution may be more complicated than the standard Gaussian distribution, which potentially introduces inefficiency in denoising the prior noise into the data sample because of the discrepancy between the data and the prior. In this paper, we propose PriorGrad to improve the efficiency of the conditional diffusion model (for example, a vocoder using a mel-spectrogram as the condition) by applying an adaptive prior derived from the data statistics based on the conditional information. We formulate the training and sampling procedures of PriorGrad and demonstrate the advantages of an adaptive prior through a theoretical analysis. Focusing on the audio domain, we consider the recently proposed diffusion-based audio generative models based on both the spectral and time domains and show that PriorGrad achieves a faster convergence leading to data and parameter efficiency and improved quality, and thereby demonstrating the efficiency of a data-driven adaptive prior.

研究の動機と目的

• 標準のガウス事前分布と複雑なデータ分布との不一致が引き起こすノイズ除去拡散モデルの非効率性を是正すること。
• 特に音声生成において、条件付き拡散モデルの収束速度とサンプル品質を向上させること。
• 条件情報に基づいて事前分布を適応的に変化させる手法を開発し、データ統計を活用してより良いモデリングを実現すること。

提案手法

• 入力コンテキストに条件付けられたデータ統計から学習される適応的で柔軟な事前分布に、標準のガウス事前分布を置き換える。
• PriorGrad の学習およびサンプリング手順を、適応的で柔軟な事前分布をノイズ除去プロセスに統合できる形に定式化する。
• 訓練中に、条件付き情報（例：メルスペクトログラム）を用いて、適応的で柔軟な事前分布の平均および分散を推定する。
• 適応的で柔軟な事前分布をノイズ除去目的関数に統合し、学習済み事前分布を考慮したスコアマッチング損失に修正する。
• 評価のため、時間領域およびスペクトル領域の両方の拡散ベース音声生成モデルにこの手法を適用する。
• スコアマッチング目的関数および事前分布の不一致に関する理論的分析を通じて、適応的で柔軟な事前分布の優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 標準のガウス事前分布をデータ駆動型で適応的な事前分布に置き換えると、条件付き拡散モデルの収束速度にどのような影響を与えるか？
• RQ2 適応的で柔軟な事前分布は、音声生成において、どの程度サンプル品質と学習効率を向上させるか？
• RQ3 適応的で柔軟な事前分布は、拡散ベース音声生成における異なるアーキテクチャおよびモダリティに一般化可能か？

主な発見

• PriorGrad は、固定されたガウス事前分布を用いる標準的な拡散モデルと比較して、学習における収束がより速い。
• 適応的で柔軟な事前分布は、音声生成における知覚的および客観的指標で測定されたサンプル品質の向上をもたらす。
• 本手法はデータおよびパrameter効率を向上させ、高品質な生成に至るための訓練ステップ数と必要なデータ量を削減する。
• 理論的分析により、適応的で柔軟な事前分布が事前分布の不一致を低減し、最適化のための最適化のしやすさを向上させることを確認した。
• 実験的結果から、時間領域およびスペクトル領域の両方の拡散モデルにおいて一貫した性能向上が得られた。
• 本手法はボコーダー応用においても有効であり、実世界の音声生成における実用的価値を示している。