[論文レビュー] Deep Text-to-Speech System with Seq2Seq Model

Wang Gary|arXiv (Cornell University)|Mar 11, 2019

Speech Recognition and Synthesis参考文献 10被引用数 8

ひとこと要約

この論文は、クエリーキー注意機構とガイド付き注意マスクを用いた軽量でRNNベースのエンドツーエンド音声合成システムを提案する。これにより、トレーニングの高速化と注意の整合性向上が達成される。モデルはわずか3時間で人間の声に近い音声品質（MOS 3.44）を達成し、タコトロン2の3倍速い。パラメータ数はタコトロン2の1300万個の450万個にまで削減され、音声品質を損なわずに顕著な効率性向上を実現した。

ABSTRACT

Recent trends in neural network based text-to-speech/speech synthesis pipelines have employed recurrent Seq2seq architectures that can synthesize realistic sounding speech directly from text characters. These systems however have complex architectures and takes a substantial amount of time to train. We introduce several modifications to these Seq2seq architectures that allow for faster training time, and also allows us to reduce the complexity of the model architecture at the same time. We show that our proposed model can achieve attention alignment much faster than previous architectures and that good audio quality can be achieved with a model that's much smaller in size. Sample audio available at https://soundcloud.com/gary-wang-23/sets/tts-samples-for-cmpt-419.

研究の動機と目的

• RNNベースの音声合成システムにおけるトレーニング時間とモデルの複雑さを短縮しつつ、高い音声品質を維持すること。
• ガイド付き注意マスク機構を用いて、トレーニング中の注意の整合性を高速化すること。
• デコード段階での強制的段階的注意を用いて、推論のロバスト性を向上させること。
• より小さなモデルが、タコトロン2のようなより大きな複雑なベースラインと同等またはそれ以上の性能を達成できることを示すこと。
• 計算リソースが限られた環境に適した、より効率的なエンドツーエンドTTSソリューションを提供すること。

提案手法

• トランスフォーマーにインspiredされたスケーリングドットプロダクト注意を用い、従来のロケーションセンシティブなアドディティブ注意をクエリーキー注意機構に置き換える。
• トレーニング中に注意の整合性が崩れないようにペナルティを与えるガイド付き注意マスクを導入し、注意の整合性の収束を加速する。
• 早期かつ安定した注意の整合性を促進するため、モノトニック注意損失を適用し、トレーニングの不安定性を低減する。
• 入力テキストをキーやバリューのベクトルに埋め込むために、2層の双方向LSTM/GRUエンコーダーを用いる。
• 自己回帰的生成を実行する1層の単뱡向LSTM/GRUデコーダーを用い、デコーダーの隠れ状態から得られるクエリを注意計算に使用する。
• 推論段階で強制的段階的注意を実装し、文字のスキップや停止を防ぎ、一貫性のある音声生成を保証する。

実験結果

リサーチクエスチョン

• RQ1 クエリーキー注意機構は、RNNベースのTTSモデルにおけるトレーニング時間の短縮と注意の整合性向上に寄与するか？
• RQ2 ガイド付き注意マスクは、標準的な注意機構と比較して、注意の整合性の収束を顕著に高速化するか？
• RQ3 パラメータ数が少ないモデルでも、タコトロン2のような大きなモデルと同等の音声品質を達成できるか？
• RQ4 強制的段階的注意は、長いシーケンスにおける推論の安定性を向上させるのにどの程度効果的か？
• RQ5 知覚的音声品質を損なわず、トレーニング時間をどの程度短縮できるか？

主な発見

• 提案されたモデルは、平均意見評価（MOS）3.440 ± 0.182を達成し、人間の声に近い音声品質を示した。これは、より大きなアーキテクチャであるタコトロン2の3.528 ± 0.179と同等の水準であり、顕著な性能を示した。
• 明確な注意の整合性に到達するまでのトレーニング時間は約3時間にまで短縮され、タコトロン2の推定15時間よりも少なくとも3倍速い。
• モデルはたった450万パラメータで構成されており、タコトロン2の1300万パラメータと比較して顕著なパラメータ効率性を示した。
• ガイド付き注意マスクにより、10,000ステップのトレーニング後における注意の整合性がより高速かつ安定して達成されたことが、視覚的な注意マップで確認された。
• 推論段階での強制的段階的注意により、文字のスキップや停止が防止され、長文に対する音声生成のロバスト性が向上した。
• トレーニング速度とモデルサイズの両面で、いくつかのベースラインを上回りながらも、競争力のある知覚的音声品質を維持した。