[論文レビュー] DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism

Jinglin Liu, Chengxi Li+3 more|arXiv (Cornell University)|May 6, 2021

Music and Audio Processing被引用数 35

ひとこと要約

DiffSinger は SVS の過平滑化を低減し、訓練を安定化させる拡散確率モデルを用い、単純なメルスペクトログラムデコーダとの交差点から逆過程を開始する浅い拡散機構を導入して品質と推論速度を改善します。

ABSTRACT

Singing voice synthesis (SVS) systems are built to synthesize high-quality and expressive singing voice, in which the acoustic model generates the acoustic features (e.g., mel-spectrogram) given a music score. Previous singing acoustic models adopt a simple loss (e.g., L1 and L2) or generative adversarial network (GAN) to reconstruct the acoustic features, while they suffer from over-smoothing and unstable training issues respectively, which hinder the naturalness of synthesized singing. In this work, we propose DiffSinger, an acoustic model for SVS based on the diffusion probabilistic model. DiffSinger is a parameterized Markov chain that iteratively converts the noise into mel-spectrogram conditioned on the music score. By implicitly optimizing variational bound, DiffSinger can be stably trained and generate realistic outputs. To further improve the voice quality and speed up inference, we introduce a shallow diffusion mechanism to make better use of the prior knowledge learned by the simple loss. Specifically, DiffSinger starts generation at a shallow step smaller than the total number of diffusion steps, according to the intersection of the diffusion trajectories of the ground-truth mel-spectrogram and the one predicted by a simple mel-spectrogram decoder. Besides, we propose boundary prediction methods to locate the intersection and determine the shallow step adaptively. The evaluations conducted on a Chinese singing dataset demonstrate that DiffSinger outperforms state-of-the-art SVS work. Extensional experiments also prove the generalization of our methods on text-to-speech task (DiffSpeech). Audio samples: https://diffsinger.github.io. Codes: https://github.com/MoonInTheRiver/DiffSinger. The old title of this work: "Diffsinger: Diffusion acoustic model for singing voice synthesis".

研究の動機と目的

• SVS 音響モデルにおける過平滑化と不安定な訓練に対処する。
• 敵対的損失なしでELBOを最小化する拡散モデル（DiffSinger）を提案する。
• prior の単純損失知識を活用するための浅い拡散機構を導入する。
• 浅い拡散開始ステップを自動的に決定する境界予測ネットワークを開発する。
• DiffSpeech を通じた TTS への一般化を実証する。

提案手法

• 音楽スコアからメルスペクトログラムを生成する条件付き拡散過程として SVS を model 化する。
• ノイズを予測するデノイザーを持つ変分下界（ELBO）を最小化することにより拡散モデルを訓練する。
• 推論時には浅い拡散ステップ k から開始し、補助的なメルデコーダで M_k を生成してから k 回のデノイジングを行う。
• 地上真の M と補助的な  の拡散軌道の交差ステップ k を適応的に決定する境界予測子を導入する。
• 歌詞、長さ調整、ピッチ成分を備えたエンコーダを用い、音楽スコアで拡散過程を条件付けする。
• 非因果的な WaveNet ベースのデノイザーと補助的な FFT ベースのメルスペクトログラムデコーダを用いて 生成を行う。
• 英語TTSタスク向けの拡張的 DiffSpeech 適用を提供する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練なしで拡散モデルは自然な歌唱を再現できるか。
• RQ2 浅い拡散開始点は SVS の合成品質と推論速度を改善するか。
• RQ3 境界予測子は最適な浅い拡散ステップ k を適応的に決定できるか。
• RQ4 SVS を超えて DiffSpeech による TTS へこのアプローチは generalize できるか。

主な発見

Method	MOS (mean)	95% CI
GT	4.30 ± 0.09	0.09
GT (Mel + PWG)	4.04 ± 0.11	0.11
FFT-NPSS (WORLD)	1.75 ± 0.17	0.17
FFT-Singer (Mel + PWG)	3.67 ± 0.11	0.11
GAN-Singer (Mel + PWG)	3.74 ± 0.12	0.12
DiffSinger Naive (Mel + PWG)	3.71 ± 0.10	0.10
DiffSinger (Mel + PWG)	3.85 ± 0.11	0.11

• DiffSinger は中国語の歌唱データセットで最先端の SVS システムを上回り、GAN-Singer および FFT-Singer よりも高い MOS を達成した（3.85 vs. 3.74 および 3.67）。
• 浅い拡散なしの純粋な拡散は MOS が 3.71、浅い拡散を用いた DiffSinger は 3.85。
• 浅い拡散機構により推論速度が 45.1% 向上（RTF 0.191 vs. 0.348）。
• 境界予測子は k の選択を効果的に行い、予測された k を用いると固定または代替の k を用いるより MOS が良い。
• LJSpeech の拡張実験で DiffSpeech が FastSpeech 2 および Glow-TTS より MOS を改善し、ナイーブ拡散に対して 29.2% の速度向上を実現。