[論文レビュー] Hierarchical Diffusion Models for Singing Voice Neural Vocoder

Naoya Takahashi, Mayank Kumar+2 more|arXiv (Cornell University)|Oct 14, 2022

Music and Audio Processing被引用数 4

ひとこと要約

本論文は、異なるサンプリングレートで複数の拡散モデルを用い、低レート波形および音響特徴量に条件付けた階層的拡散モデルを、歌唱音声ニューラルボコーダーに提案する。この手法は、計算コストと同等の水準でPriorGrad や Parallel WaveGAN よりも優れた知覚的品質を達成し、特に vibrato を含む歌唱音声におけるピッチの正確性と自然さに優れている。

ABSTRACT

Recent progress in deep generative models has improved the quality of neural vocoders in speech domain. However, generating a high-quality singing voice remains challenging due to a wider variety of musical expressions in pitch, loudness, and pronunciations. In this work, we propose a hierarchical diffusion model for singing voice neural vocoders. The proposed method consists of multiple diffusion models operating in different sampling rates; the model at the lowest sampling rate focuses on generating accurate low-frequency components such as pitch, and other models progressively generate the waveform at higher sampling rates on the basis of the data at the lower sampling rate and acoustic features. Experimental results show that the proposed method produces high-quality singing voices for multiple singers, outperforming state-of-the-art neural vocoders with a similar range of computational costs.

研究の動機と目的

• ピッチ、音量、発音の複雑な音楽的表現による高品質な歌唱音声の生成という課題に対処すること。
• 既存のニューラルボコーダーがしばしば不自然なピッチ変調や低い知覚的品質を生じるという制限を克服すること。
• 低レートから高レートへと段階的に波形を生成する階層的拡散フレームワークを構築すること。
• 低レートで生成された波形および音響特徴量に条件付けた高レート拡散モデルを用いることで、波形の品質と推論効率を向上させること。
• PriorGrad や Parallel WaveGAN といった最先端のボコーダーと比較して、知覚的品質および客観的指標において本手法の優位性を検証すること。

提案手法

• 複数の拡散モデルを、低レートから高レートへと段階的に訓練し、階層的カスケードを形成する。
• レート $f_s^i$ における各拡散モデルは、音響特徴量 $c$ および次の低レートモデルのダウンサンプリング出力 $x_0^{i+1}$ に条件付けられる。
• 推論時、各低レートモデルの出力は、反アリアスフィルタ $H^i$ を通って処理され、その後、高レートモデルの条件付けに使用される。
• 前向きプロセスでは元の波形に段階的にノイズが加えられ、逆向きプロセスでは学習されたノイズ除去ネットワーク $\mu_\theta(x_t, t)$ を用いて段階的にノイズ除去が行われる。
• 収束の高速化とサンプル品質の向上のため、PriorGrad と同様にフレーム単位のエネルギーとスペクトルエンVELOP を用いたデータ依存型事前分布を用いる。
• 階層的構造により、最低レートモデルはピッチおよび基本周波数に集中できるのに対し、高レートモデルはスペクトル的および時間的詳細を精緻に再現できる。

実験結果

リサーチクエスチョン

• RQ1 複数レートに条件付けた階層的拡散モデルは、単一レートの拡散モデルと比較して、歌唱音声合成の知覚的品質を向上させることができるか？
• RQ2 高レート拡散モデルを低レートで生成された波形に条件付けた場合、歌唱音声におけるピッチの正確性と自然さが向上するか？
• RQ3 歌唱音声生成において、階層的設計は自己回帰的または GAN ベースのボコーダーと比較して、品質および推論速度の点で優れているか？
• RQ4 データ依存型事前分布の使用は、階層的拡散フレームワークにおいて収束性およびサンプル品質をどの程度向上させるか？
• RQ5 PriorGrad のようなベースライン拡散モデルの深さを増すのと比較して、階層的アプローチはより効率的にスケーリング可能か？

主な発見

• 提案された HPG-2 モデルは、平均意見スコア（MOS）が 3.95 ± 0.13 を達成し、PriorGrad（3.60 ± 0.12）および Parallel WaveGAN（2.15 ± 0.13）を顕著に上回った。
• 好みのテストでは、85.3% の被験者が HPG-2 を PriorGrad よりも好んだため、知覚的優位性が強く示された。
• HPG-2 はピッチ平均絶対誤差（PMAE）を 1.82 に抑え、PriorGrad（1.80）と同等かやや優れており、Parallel WaveGAN（3.12）と比較して顕著に優れたピッチ追従性を示した。
• 声門決定誤差（VDE）は 3.47 に低減され、Parallel WaveGAN（5.61）を上回り、発音の明瞭性が向上した。
• 3段階の HPG-3 モデルは、計算コストをたった 30% 増加させるだけで、指標をさらに改善した（PMAE: 1.67, VDE: 3.32, MR-STFT: 1.07, MCD: 8.12）。
• アブレーションスタディにより、低レート波形 $x_0^2$ が低周波成分の生成に不可欠であることが確認され、メルスペクトログラム $c$ は主に高周波成分の条件付けに寄与していることが判明した。