[論文レビュー] PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Dependent Adaptive Prior

Sang-gil Lee, Heeseung Kim+8 more|arXiv (Cornell University)|Jun 11, 2021

Speech Recognition and Synthesis被引用数 23

ひとこと要約

PriorGradは、標準のガウス分布事前分布の代わりに、条件付き入力（例：メルスペクトログ램や発音記号）から導出されたデータ依存型で適応可能なガウス事前分布を採用することで、条件付きノイズ除去拡散モデルを改善する。条件付き特徴量からインスタンスレベルでの平均と分散を計算することで、学習収束が早くなり、知覚的品質が向上し、パラメータ効率も向上する。音声合成の実験により、より高速な推論と、モデルサイズが小さい場合の頑健性が確認された。

ABSTRACT

Denoising diffusion probabilistic models have been recently proposed to generate high-quality samples by estimating the gradient of the data density. The framework defines the prior noise as a standard Gaussian distribution, whereas the corresponding data distribution may be more complicated than the standard Gaussian distribution, which potentially introduces inefficiency in denoising the prior noise into the data sample because of the discrepancy between the data and the prior. In this paper, we propose PriorGrad to improve the efficiency of the conditional diffusion model for speech synthesis (for example, a vocoder using a mel-spectrogram as the condition) by applying an adaptive prior derived from the data statistics based on the conditional information. We formulate the training and sampling procedures of PriorGrad and demonstrate the advantages of an adaptive prior through a theoretical analysis. Focusing on the speech synthesis domain, we consider the recently proposed diffusion-based speech generative models based on both the spectral and time domains and show that PriorGrad achieves faster convergence and inference with superior performance, leading to an improved perceptual quality and robustness to a smaller network capacity, and thereby demonstrating the efficiency of a data-dependent adaptive prior.

研究の動機と目的

• 標準のガウス事前分布と複雑なデータ分布との不一致が引き起こす、条件付きノイズ除去拡散モデルの非効率性を是正すること。
• 標準でない、適応可能な事前分布が、計算コストやパラメータ数の増加を伴わずにモデル性能を向上させられるかを調査すること。
• 特にモデル容量が限られた状況下でも、拡散ベースの音声生成モデルにおける学習収束と推論速度の向上を図ること。
• スペクトル領域および時間領域の拡散モデルの両方において、適応可能な事前分布の有効性を示すこと。
• パラメータ効率の向上とモデルサイズの縮小に対する頑健性を高めることで、拡散モデルの実用的導入を可能にすること。

提案手法

• Forward拡散プロセスにおいて、標準のガウス事前分布の代わりに、データ依存型で適応可能なガウス事前分布を採用するPriorGradを提案する。
• 条件付き入力特徴量（例：メルスペクトログラムフレームや発音記号レベルの埋め込み）から、インスタンスレベルで平均と分散を直接計算する。
• 条件付き統計を用いて、非パラメトリックでインスタンス固有の事前分布を定義し、ターゲットデータ分布に適合させる。
• 逆過程を変更せずに、スペクトル領域（ボコーダ）および時間領域（音声アコースティックモデル）の両方の拡散モデルに適応可能な事前分布を統合する。
• 逆過程の学習負担を軽減するため、適応可能な事前分布からのノイズ除去を学習モデルに与える。
• 事前分布推定のための追加パラメータや学習複雑性を回避することで、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 標準のガウス事前分布を、データ依存型で適応可能な事前分布に置き換えることで、条件付き拡散モデルの学習効率が向上するか？
• RQ2 条件付き入力から導出された適応可能な事前分布が、音声合成における収束速度とサンプル品質に与える影響はいかほどか？
• RQ3 モデル容量が制限された場合に、PriorGradが性能向上にどの程度寄与するか？
• RQ4 ノイズの多いまたは複雑な信号セグメント（例：有声音 vs. 無声音）に対しても、適応可能な事前分布が頑健性を向上させるか？
• RQ5 提案手法は、音声合成を越えて、他の条件付き生成タスクへも一般化可能か？

主な発見

• PriorGradは著しく高速な学習収束を達成し、基準モデルよりも早く知覚的に優れたサンプルが得られた。
• 350万パラメータのPriorGradモデルは、350万および1000万パラメータの基準モデルを上回り、30万ステップでのMOSが4.08 ± 0.07を達成した。
• モデルパラメータを65％削減（1000万から350万）しても、大規模基準モデルとほぼ同等の知覚的品質を維持した。これは、強力なパラメータ効率性を示している。
• 小さなPriorGradモデルは30万ステップでMOS 3.96 ± 0.07を達成し、大規模基準モデル（3.91 ± 0.09）および小規模基準モデル（4.00 ± 0.08）を上回った。これは、学習ダイナミクスの改善を示している。
• PriorGradは、大規模モデル容量の必要性を低減し、実用的導入に向けた拡散モデルの実現可能性を高めた。
• スペクトル領域（ボコーダ）および時間領域（アコースティックモデル）の両方の拡散モデルで一貫した改善が確認され、広範な適用可能性が裏付けられた。