[論文レビュー] VARA-TTS: Non-Autoregressive Text-to-Speech Synthesis based on Very Deep VAE with Residual Attention

Peng Liu, Yuewen Cao+5 more|arXiv (Cornell University)|Feb 12, 2021

Speech Recognition and Synthesis参考文献 40被引用数 15

ひとこと要約

VARA-TTSは、粗くから細かく、段階的に精度を高めるアプローチを可能にする、残差注意機構を備えた非常に深い変分オートエンコーダ（VDVAE）を用いた非自己回帰的音声合成モデルを提案する。このモデルは、Tacotron 2に比べ16倍高速な推論を達成しながら、BVAE-TTSなどの類似非自己回帰的モデルと同等またはそれ以上の音声品質を実現しており、階層的潜在変数クエリと統合的発話速度予測子により、アライメントのロバスト性が向上している。

ABSTRACT

This paper proposes VARA-TTS, a non-autoregressive (non-AR) text-to-speech (TTS) model using a very deep Variational Autoencoder (VDVAE) with Residual Attention mechanism, which refines the textual-to-acoustic alignment layer-wisely. Hierarchical latent variables with different temporal resolutions from the VDVAE are used as queries for residual attention module. By leveraging the coarse global alignment from previous attention layer as an extra input, the following attention layer can produce a refined version of alignment. This amortizes the burden of learning the textual-to-acoustic alignment among multiple attention layers and outperforms the use of only a single attention layer in robustness. An utterance-level speaking speed factor is computed by a jointly-trained speaking speed predictor, which takes the mean-pooled latent variables of the coarsest layer as input, to determine number of acoustic frames at inference. Experimental results show that VARA-TTS achieves slightly inferior speech quality to an AR counterpart Tacotron 2 but an order-of-magnitude speed-up at inference; and outperforms an analogous non-AR model, BVAE-TTS, in terms of speech quality.

研究の動機と目的

• Tacotron 2のような自己回帰的TTSモデルの推論速度の遅さとロバストネスの問題に対処すること。
• エンド・トゥ・エンドのフレームワークにアライメント学習を統合することで、非自己回帰的TTSにおけるトレーニング・インフェンス不一致を克服すること。
• 階層的VAE潜在変数をクエリとして活用し、段階的にアライメントを粗くから細かく refining することで、非自己回帰的TTSにおけるアライメント学習を改善すること。
• 統合的発話速度予測子と詳細なKLゲインスケジューリングを用いて、モデルのロバストネスと音声品質を向上させること。

提案手法

• メルスペクトログ램を複数の時間解像度でモデル化するため、下流から上流へのパスと上流から下流へのパスを持つ非常に深いVAE（VDVAE）を用い、階層的潜在変数を生成する。
• これらの階層的潜在変数を、複数のレイヤーにわたる粗くから細かくなる段階的精錬を実現する残差注意機構のクエリとして活用する。
• 各レイヤーが直前のレイヤーのアライメントを補助入力として用い、より精錬されたアライメントを生成する残差注意モジュールを導入し、個々のレイヤーの負荷を軽減する。
• 各レイヤーごとにKL重みを調整することで、VAEの深層部におけるポストリアー・コラプスを防ぐ詳細なカルバック・ライブラー（KL）ゲイン機構を適用する。
• 平均プーリングされた最も粗いレイヤーの潜在変数を用いて、発話レベルの発話速度予測子を統合し、エンド・トゥ・エンドの学習を可能にする。
• 単一の目的関数でモデル全体をエンド・トゥ・エンドに学習させ、別個の期間モジュールを排除することで、トレーニングとインフェンスの不一致を低減する。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的TTSモデルは、自己回帰的モデルに比べ10倍以上の推論速度向上を達成しながら、高品質な音声を生成できるか？
• RQ2 階層的VAE潜在変数は、非自己回帰的TTSにおける注意ベースのアライメントに有効で、情報量の多いクエリとして機能するか？
• RQ3 粗くから細かく、レイヤー単位で段階的に精錬する残差注意機構は、単一の注意機構と比較して、アライメントのロバストネスと音声品質を向上させるか？
• RQ4 主モデルと統合的に学習する発話速度予測子は、推論誤差を低減させ、一般化性能を向上させるか？
• RQ5 詳細なKLゲインスケジューリングは、VAEの深層部におけるポストリアー・コラプスを防止し、潜在表現の質を向上させるか？

主な発見

• VARA-TTSは平均意見評価（MOS）3.88±0.20を達成し、BVAE-TTS（3.33±0.18）を上回るが、推論速度はほぼ同等である。
• Tacotron 2に比べ16倍高速な推論を実現し、1枚のRTX 2080 Ti GPUで1発話あたり32.01msの推論速度を達成した。
• 発話速度予測子を統合的に学習させることで、検証セットにおける発話速度誤差が、別個の予測子よりも低減した。これにより、その有効性が裏付けられた。
• 詳細なKLゲイン機構により、すべてのレイヤーで滑らかで平坦でない累積KL曲線が得られ、ポストリアー・コラプスの防止に成功した。
• 可視化結果から、詳細なKLゲインを用いた場合、最も粗いレイヤーで明確で構造的なアライメントが得られていることが示された。これは、意味のある潜在表現が得られていることを示している。
• モデルはマルチスプーカー設定への拡張性を示しており、直接的なテキストから波形への合成への応用可能性も示唆されているが、予備実験では最適化が依然として困難であることが分かった。