[論文レビュー] Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior

Guangzhi Sun, Zhang Yu+6 more|arXiv (Cornell University)|Feb 6, 2020

Speech Recognition and Synthesis被引用数 15

ひとこと要約

本稿では、音声の自然さと多様性を向上させるために、離散的潜在コードに自己回帰的（AR）事前分布を導入した量子化された細粒度変分オートエンコーダ（QFVAE）を提案する。ベクトル量子化（VQ）により発音関連の潜在特徴を離散化し、別個のAR事前分布でその時系列的依存関係をモデル化することで、標準的なVAEに比べて音声の自然さが著しく向上するとともに多様性を維持し、自動音声認識（ASR）のデータ拡張に有効であることが示された。

ABSTRACT

Recent neural text-to-speech (TTS) models with fine-grained latent features enable precise control of the prosody of synthesized speech. Such models typically incorporate a fine-grained variational autoencoder (VAE) structure, extracting latent features at each input token (e.g., phonemes). However, generating samples with the standard VAE prior often results in unnatural and discontinuous speech, with dramatic prosodic variation between tokens. This paper proposes a sequential prior in a discrete latent space which can generate more naturally sounding samples. This is accomplished by discretizing the latent features using vector quantization (VQ), and separately training an autoregressive (AR) prior model over the result. We evaluate the approach using listening tests, objective metrics of automatic speech recognition (ASR) performance, and measurements of prosody attributes. Experimental results show that the proposed model significantly improves the naturalness in random sample generation. Furthermore, initial experiments demonstrate that randomly sampling from the proposed model can be used as data augmentation to improve the ASR performance.

研究の動機と目的

• 各音素ごとに独立した潜在事前分布を用いる標準的なVAEベースのTTSモデルで生じる不自然で不連続な音声の問題を解決すること。
• 発音の時系列的依存関係を離散的潜在コード上の構造的事前分布でモデル化することで、生成音声の自然さを向上させること。
• 多様なTTS生成サンプルをデータ拡張に活用し、ASRの耐障害性と一般化性能を向上させることの有効性を検討すること。
• 連続的および離散的潜在空間における異なる事前分布モデリング戦略（独立 vs. 自己回帰的）の間での自然さと多様性のトレードオフを評価すること。

提案手法

• タコトロン2に細粒度VAEを統合し、対応するターゲットスペクトログラムから音素レベルの発音表現を抽出する。
• ベクトル量子化（VQ）を適用して連続的潜在特徴を固定されたコードブックベクトルの集合に離散化し、離散的潜在空間のモデリングを可能にする。
• 学習データから抽出したVQ埋め込み潜在系列を用いて、別個の自己回帰的事前分布モデルを学習し、時系列的依存関係を捉える。
• 2段階の訓練アプローチを採用：まず教師強制を用いてTTSモデルを訓練し、真のスペクトログラムを再構築する。次に、VAEの事後分布コードを用いてAR事前分布を学習する。
• まず離散的潜在空間でAR事前分布からサンプリングし、その後、サンプルされたコードを用いてTTSデコーダーで音声をデコードする。
• 異なる事前分布方式（独立ガウス事前分布、連続空間におけるAR事前分布、離散空間におけるAR事前分布）を比較し、サンプリングスケールと多様性に対するアブレーションスタディを実施。

Fig. 1 : Fine-grained VAE encoder structure. Location-sensitive attention is used to align a reference spectrogram with the encoded phoneme sequence. The latent features $\mathbf{z}$ and encoded phonemes are concatenated and passed to the decoder.

実験結果

リサーチクエスチョン

• RQ1 自己回帰的事前分布を備えた離散的潜在系列として発音をモデル化することで、独立したVAE事前分布に比べ、TTSサンプルの自然さが向上するか？
• RQ2 細粒度発音潜在変数のベクトル量子化が、TTS生成における多様性と自然さのトレードオフに与える影響は何か？
• RQ3 提案手法から得られるサンプルは、多様かつ自然な音声を生成できるか？そのような音声はASRの学習データ拡張として効果的に機能するか？
• RQ4 異なる事前分布モデリング戦略（独立、連続空間におけるAR、離散空間におけるAR）の間で、音声品質およびASRへの利益の相対的性能はどのようになるか？

主な発見

• 離散的潜在空間に自己回帰的事前分布を導入した本稿のQFVAEは、主観聴取テストにおいて標準的なVAEに比べ、音声の自然さが顕著に向上した。
• 独立事前分布（スケール=1.0）からのサンプリングを用いたQFVAEは、LibriTTSテストセットでASRの訓練に使用した際、16.9%のWERを達成し、ベースラインTTSモデル（20.0%）を上回り、コピーサンプルのベースラインに近い性能を示した。
• 1つの発話文について10個の多様なサンプルをQFVAEから生成し、それを使用することでASRのWERが12.5%まで低下した。これは、発音の多様性がデータ拡張の有効性を高めることを示している。
• 実話声とQFVAEによる10倍の過剰サンプリングされた合成音声を組み合わせて学習した場合、実話声のみの学習に比べてWERが16%相対的に低下した。これは、強力なデータ拡張の恩恵を示している。
• 離 discrete 空間におけるAR事前分布は連続的AR事前分布よりも自然さが優れており、両者とも独立サンプリングに比べて音声品質が顕著に向上した。
• 最良のQFVAEモデルは、実話声と合成データを併用して学習した結果、LibriTTSで6.0%のWERを達成し、実話声のみの学習（7.2%）を上回り、優れた一般化性能を示した。

Fig. 2 : Illustration of the vector quantization process. The embedding codebook contains $K$ different embeddings $\mathbf{e}_{k}$ . Continuous latents $\mathbf{z}$ are quantized to their nearest neighbors in the codebook by Euclidean distance. The red line shows the straight-through gradient path.