[論文レビュー] PortaSpeech: Portable and High-Quality Generative Text-to-Speech

Yi Ren, Jinglin Liu+1 more|arXiv (Cornell University)|Sep 30, 2021

Speech Recognition and Synthesis参考文献 31被引用数 6

ひとこと要約

PortaSpeechは、変分自己オートエンコーダーと強化された事前分布、およびフローに基づくポストネットを組み合わせた軽量で高品質な非自己回帰的音声合成モデルであり、豊かなプロソディーと細分化されたスペクトル詳細を備えた表現的で自然な音声を生成する。6.7Mパラメータでしかなく、FastSpeech 2の4倍小さいサイズで3倍のメモリ効率を達成しながら、最先端の主観的・客観的性能を実現している。これは、混合アライメントとポストネットにおけるグループ化されたパラメータ共有を特徴とする新規な言語的エンコーダーのおかげで、高品質を維持している。

ABSTRACT

Non-autoregressive text-to-speech (NAR-TTS) models such as FastSpeech 2 and Glow-TTS can synthesize high-quality speech from the given text in parallel. After analyzing two kinds of generative NAR-TTS models (VAE and normalizing flow), we find that: VAE is good at capturing the long-range semantics features (e.g., prosody) even with small model size but suffers from blurry and unnatural results; and normalizing flow is good at reconstructing the frequency bin-wise details but performs poorly when the number of model parameters is limited. Inspired by these observations, to generate diverse speech with natural details and rich prosody using a lightweight architecture, we propose PortaSpeech, a portable and high-quality generative text-to-speech model. Specifically, 1) to model both the prosody and mel-spectrogram details accurately, we adopt a lightweight VAE with an enhanced prior followed by a flow-based post-net with strong conditional inputs as the main architecture. 2) To further compress the model size and memory footprint, we introduce the grouped parameter sharing mechanism to the affine coupling layers in the post-net. 3) To improve the expressiveness of synthesized speech and reduce the dependency on accurate fine-grained alignment between text and speech, we propose a linguistic encoder with mixture alignment combining hard inter-word alignment and soft intra-word alignment, which explicitly extracts word-level semantic information. Experimental results show that PortaSpeech outperforms other TTS models in both voice quality and prosody modeling in terms of subjective and objective evaluation metrics, and shows only a slight performance degradation when reducing the model parameters to 6.7M (about 4x model size and 3x runtime memory compression ratio compared with FastSpeech 2). Our extensive ablation studies demonstrate that each design in PortaSpeech is effective.

研究の動機と目的

• 非自己回帰的音声合成（NAR-TTS）システムにおけるモデル効率と音声品質のトレードオフを解消すること。
• エッジデプロイに適した最小限の計算およびメモリオーバーヘッドで高精細で表現的な音声合成を可能にすること。
• 正確な音素レベルのアライメントに依存するのを減らすために、言語的エンコーダーにハイブリッドアライメント機構を導入すること。
• VAEとノーマライジングフローのハイブリッドアーキテクチャを用いて、プロソディーのモデリングとスペクトル詳細の再構築を向上させること。
• 極端なパラメータ制限およびメモリ制限下でも高いパフォーマンスを維持できるコンactで効率的なモデルを開発すること。

提案手法

• 2段階の生成アーキテクチャを採用：長距離のプロソディック構造をモデル化する軽量な変分自己オートエンコーダー（VAE）に強化された事前分布を組み合わせ、その後に細分化されたメルスペクトログラムの詳細な修正を目的としたフローに基づくポストネットを配置する。
• フローに基づくポストネットのアフィンカップリング層にグループ化されたパラメータ共有機構を導入することで、パラメータ数とメモリフットプリントを削減しつつ、顕著なパフォーマンス低下を防ぐ。
• ハードな単語レベルアライメントとソフトな音素レベルアライメントを組み合わせた混合アライメントを備えた言語的エンコーダーを設計し、発話時間の予測を向上させるとともに、正確な音素レベルアライメントに依存するのを軽減する。
• 非ガウス分布の強化された事前分布を備えたVAEを用いることで、特に小さなモデルにおいて複雑なプロソディックパターンをよりよく捉える。
• 再構築損失、KLダイバージェンス、およびフローに基づく尤度最大化を組み合わせてエンドツーエンドのモデルを訓練することで、品質と多様性の両方を最適化する。
• 強化された事前分布とフローに基づく精錬を通じて、知識蒸留やその他の正則化技術を暗黙的に適用し、訓練の安定性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的TTSモデルは、最小限のモデルサイズとメモリフットプリントでどのように高品質な音声合成を達成できるか？
• RQ2 VAEベースとノーマライジングフローに基づくアーキテクチャは、TTSにおけるプロソディーとスペクトル詳細のモデリングにおいて、それぞれどのような強みと弱みを有するか？
• RQ3 VAEとノーマライジングフローをハイブリッドに組み合わせたアーキテクチャは、単体のモデルを上回る音声品質とプロソディーモデリング性能を達成できるか？
• RQ4 言語的エンコーダーに混合アライメント機構を導入することで、プロソディーモデリングが向上し、細分化されたアライメント監視に依存する度合いが低下するか？
• RQ5 特に自然さと表現性の観点から顕著な劣化が生じない範囲で、顕著なモデル圧縮が達成可能か？

主な発見

• PortaSpeechは、主観的（CMOS）および客観的評価指標において、FastSpeech 2およびGlow-TTSを上回る最先端のパフォーマンスを達成した。音声品質とプロソディーモデリングの両面で優れている。
• 6.7Mパラメータというわずかなサイズで、FastSpeech 2と比較してモデルサイズを約4倍小さく、メモリフットプリントを約3倍小さくしたが、わずかなパフォーマンス低下にとどまった。
• VAEにおける強化された事前分布のおかげで、プロソディーモデリングが顕著に向上し、単純なガウス事前分布と比較してCMOS-Pが0.194ポイント向上した。
• フローに基づくポストネットは、ポストネットを削除した場合と比較してCMOS-Qが0.458ポイント向上し、標準的な畳み込み型ポストネットを上回った。
• 言語的エンコーダーにおける混合アライメントにより、単語レベルで平均絶対発話時間誤差が40.4ms、文レベルで0.44秒減少した。
• アブレーションスタディの結果、強化された事前分布、フローに基づくポストネット、混合アライメントの各コンポーネントが全体のパフォーマンスに顕著な貢献をしていることが確認され、フルモデルが最高のCMOSスコアを達成した。