[論文レビュー] WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis

Nanxin Chen, Yu Zhang+5 more|arXiv (Cornell University)|Jun 17, 2021

Speech Recognition and Synthesis参考文献 33被引用数 5

ひとこと要約

WaveGrad 2 は、繰り返しスコアベースの精錬を用いて、音素列から直接高精細な音声波形を生成する非自己回帰的でエンドツーエンドの音声合成モデルである。拡散型サンプリングに類似したノイズ除去を学習したスコアネットワークを用いることで、調整可能な精錬ステップ数により速度と品質の自然なトレードオフを実現し、平均意見評価（MOS）4.43を達成し、最先端のシステムに迫る性能を発揮する。

ABSTRACT

This paper introduces WaveGrad 2, a non-autoregressive generative model for text-to-speech synthesis. WaveGrad 2 is trained to estimate the gradient of the log conditional density of the waveform given a phoneme sequence. The model takes an input phoneme sequence, and through an iterative refinement process, generates an audio waveform. This contrasts to the original WaveGrad vocoder which conditions on mel-spectrogram features, generated by a separate model. The iterative refinement process starts from Gaussian noise, and through a series of refinement steps (e.g., 50 steps), progressively recovers the audio sequence. WaveGrad 2 offers a natural way to trade-off between inference speed and sample quality, through adjusting the number of refinement steps. Experiments show that the model can generate high fidelity audio, approaching the performance of a state-of-the-art neural TTS system. We also report various ablation studies over different model configurations. Audio samples are available at https://wavegrad.github.io/v2.

研究の動機と目的

• メルスペクトログ램などの手作業で設計された中間特徴量を回避する完全にエンドツーエンドの音声合成システムの開発。
• 調整可能な精錬ステップ数により、制御可能な推論速度で高精細な非自己回帰的音声生成を実現。
• 補助損失や敵対的訓練に依存せずに、TTSにおける1対多対応問題を解決。
• 期間に応じた符号化とスコアマッチングなどのアーキテクチャ的革新を通じて、耐性と品質の向上。
• エンドツーエンドTTS学習におけるデータ拡張とマルチタスク学習の有効性の評価。

提案手法

• 音声波形の対数尤度の勾配を推定するためのニューラルネットワークを学習するためにスコアマッチングを用いる。
• 初期状態としてランダムなガウスノイズから開始し、学習済みのスコア関数を用いたランジュバンダイナミクスにより、波形推定値を繰り返し更新する精錬プロセスを採用。
• アテンションベースのアライメントに代わる、期間予測器を統合した非自己回帰的エンコーダーを採用し、文脈に適した表現を生成。
• ノイズスケジュールをモデル化するための再パrameterizationトリックを適用し、予測されたノイズ項と真値との間のL1距離を最小化することで学習を可能にする。
• 学習可能なノイズスケジュールを備えたWaveGradデコーダーを用い、複数ステップにわたり信号を段階的にノイズ除去。
• エンコーダー表現におけるマスクブロックドロップアウトを用いた隠れ特徴拡張を導入し、学習中の耐性向上を図る。

実験結果

リサーチクエスチョン

• RQ1 中間スペクトログ램特徴量を一切使用せずに、非自己回帰的TTSモデルが高精細音声を生成可能か？
• RQ2 精錬ステップ数の増加が、生成速度と音声品質のトレードオフにどのように影響するか？
• RQ3 メルスペクトログラム予測を伴うマルチタスク学習は、エンドツーエンドTTS性能を向上させるか？
• RQ4 隠れ表現拡張（例：マスクブロックドロップアウト）は、モデルの耐性向上にどの程度効果的か？
• RQ5 モデルサイズとアーキテクチャ構成が、主観的音声品質に与える影響は何か？

主な発見

• WaveGrad 2 は平均意見評価（MOS）4.43を達成し、最先端の神経TTSシステムに迫る性能を発揮した。
• 精錬ステップ数を50から1000に増加させると、MOSは4.32から4.37に向上し、明確な速度・品質のトレードオフが確認された。
• デコーダーのサイズを大きく（Large）した場合、エンコーダーのサイズを大きくするのとは対照的に、MOSは4.05から4.37に顕著に向上した。
• 隠れ表現にSpecAugment風の拡張を適用したところ、MOSは4.37から4.40にわずかに向上し、耐性向上の兆しが示された。
• メルスペクトログラム予測を伴うマルチタスク学習は、性能向上に顕著な寄与を示さず、エンドツーエンド学習には有益でないことが示唆された。
• モデルの性能はデコーダーの容量に最も敏感であり、エンコーダーのサイズは品質に与える影響が小さいことが分かった。