[論文レビュー] Parallel Tacotron: Non-Autoregressive and Controllable TTS

Isaac Elias, Heiga Zen+5 more|arXiv (Cornell University)|Oct 22, 2020

Speech Recognition and Synthesis参考文献 41被引用数 21

ひとこと要約

この論文では、変分自己オートエンコーダーに基づく残差エンコーダーと軽量畳み込みを用いて、訓練および推論の両方が高並列化可能な非自己回帰的音声合成モデル「Parallel Tacotron」を提案する。自己回帰的Tacotron 2と同等の自然さを達成するとともに、最大13倍高速な推論を実現しており、反復的スペクトログラム損失とVAEガイドドプロソディモデリングによる改善がなされている。

ABSTRACT

Although neural end-to-end text-to-speech models can synthesize highly natural speech, there is still room for improvements to its efficiency and naturalness. This paper proposes a non-autoregressive neural text-to-speech model augmented with a variational autoencoder-based residual encoder. This model, called \emph{Parallel Tacotron}, is highly parallelizable during both training and inference, allowing efficient synthesis on modern parallel hardware. The use of the variational autoencoder relaxes the one-to-many mapping nature of the text-to-speech problem and improves naturalness. To further improve the naturalness, we use lightweight convolutions, which can efficiently capture local contexts, and introduce an iterative spectrogram loss inspired by iterative refinement. Experimental results show that Parallel Tacotron matches a strong autoregressive baseline in subjective evaluations with significantly decreased inference time.

研究の動機と目的

• 現代のハードウェア上で自己回帰的TTSモデルの訓練および推論における非効率性を解消すること。
• 自己回帰的デコードを用いないことで、非自己回帰的TTSにおける自然さを向上させ、プロソディと文脈をモデル化すること。
• 自己回帰的モデルにおける教師強制によって引き起こされる訓練と推論の乖離を低減すること。
• 変分自己オートエンコーダーを用いた分離された潜在表現により、制御可能な音声合成を可能にすること。
• 知覚的品質を損なわず、リアルタイムデプロイメントを可能にする高効率な推論を達成すること。

提案手法

• 自己注意機構と軽量畳み込み（LConv）を用いた非自己回帰的デコーダーを提案し、効率的で並列な推論を実現する。
• 真値スペクトログラムから潜在的プロソディ的要因をモデル化するため、変分自己オートエンコーダー（VAE）に基づく残差エンコーダーを導入する。
• スピークャレベルのプロソディを捉えるグローバルVAEと、音節レベルのプロソディモデリングに適した細分化されたフォネムレベルのVAEを併用する。
• 反復的リファインメントを模倣した反復的スペクトログラム損失を採用し、訓練中にメルスペクトログラムの品質を向上させる。
• パラメータ数と推論時間を削減するため、標準的な自己注意とは異なり、軽量畳み込み（LConv）を効率的な代替手段として適用する。
• 知識蒸留または直接的監視により学習された予測された持続時間、F0、エネルギーを条件として、非自己回帰的デコーダーを設定する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的デコードを用いずに、自己回帰的Tacotron 2と同等の自然さを達成できる非自己回帰的TTSモデルは存在するか？
• RQ2 VAEベースの残差エンコーダーは、非自己回帰的TTSにおけるプロソディのモデル化と自然さの向上にどの程度有効か？
• RQ3 反復的スペクトログラム損失は、非自己回帰的メルスペクトログラム生成の品質向上に寄与するか？
• RQ4 効率性と知覚的品質の観点から、軽量畳み込み（LConv）は標準的な自己注意と比較してどの程度優れているか？
• RQ5 非自己回帰的TTSモデルは、主観評価においてどの程度人間の自然さに近づけるか？

主な発見

• Parallel Tacotronは、主観評価でTacotron 2と同等の水準（自然音のMOS：4.40 対 4.54）を達成し、好みスコアが-0.01と、人間の音声とほとんど区別がつかない品質を示した。
• グローバルVAEの導入により、MOSは4.33（VAEなし）から4.40に向上し、さらに細分化されたVAEを追加することで4.42にまで上昇。Tacotron 2に対して+0.07の好みスコアを記録した。
• 反復的スペクトログラム損失は、知覚的品質にわずかだが測定可能な改善をもたらしたが、直接比較では有意差は認められなかった。
• TPU上での推論速度はTacotron 2の13倍高速であり、LConvベースのモデルではRTF（リアルタイム要因）が1013×にまで達し、Transformerベースのモデルを大きく上回った。
• 主観評価では、LConvベースの自己注意がTransformerよりも好まれた（好みスコア：+0.05）、品質と効率のバランスが優れていることを示した。
• 合成出力でさえも、細分化されたVAEを備えたParallel Tacotronは、自然音に対して-0.01の好みスコアを記録し、人間の性能に非常に近い知覚的品質を達成した。