[論文レビュー] Initial investigation of an encoder-decoder end-to-end TTS framework using marginalization of monotonic hard latent alignments

Yusuke Yasuda, Xin Wang+1 more|arXiv (Cornell University)|Aug 30, 2019

Speech Recognition and Synthesis参考文献 27被引用数 5

ひとこと要約

この論文は、柔らかく注意を用いないエンドツーエンドTTSフレームワークを提案する。ソフトアテンション機構を単調なハード潜在アラインメントに置き換え、トレーリス構造上のアラインメントの周辺化により学習を可能にした。この手法により、複雑なアテンションモジュールや工作的テクニックに依存せずに、より堅牢なアラインメント学習が可能となったが、主観的評価ではベースラインシステムより低い音声品質（MOS 2.33）を示した。これは、一時停止の期間が過大評価され、訓練時間が長くなったことが原因である。

ABSTRACT

End-to-end text-to-speech (TTS) synthesis is a method that directly converts input text to output acoustic features using a single network. A recent advance of end-to-end TTS is due to a key technique called attention mechanisms, and all successful methods proposed so far have been based on soft attention mechanisms. However, although network structures are becoming increasingly complex, end-to-end TTS systems with soft attention mechanisms may still fail to learn and to predict accurate alignment between the input and output. This may be because the soft attention mechanisms are too flexible. Therefore, we propose an approach that has more explicit but natural constraints suitable for speech signals to make alignment learning and prediction of end-to-end TTS systems more robust. The proposed system, with the constrained alignment scheme borrowed from segment-to-segment neural transduction (SSNT), directly calculates the joint probability of acoustic features and alignment given an input text. The alignment is designed to be hard and monotonically increase by considering the speech nature, and it is treated as a latent variable and marginalized during training. During prediction, both the alignment and acoustic features can be generated from the probabilistic distributions. The advantages of our approach are that we can simplify many modules for the soft attention and that we can train the end-to-end TTS model using a single likelihood function. As far as we know, our approach is the first end-to-end TTS without a soft attention mechanism.

研究の動機と目的

• 複雑なソフトアテンション機構に依存しない、よりシンプルで堅牢なエンドツーエンドTTSシステムの開発。
• ソフトアテンションベースのTTSモデルに一般的に見られるスキップ、繰り返し、曇声などのアラインメントエラーの解消。
• ストップフラグ予測やドロップアウトベースの推論といった、作業的なコンポーネントを、原理的で確率的なフレームワークに置き換え。
• ハードで単調なアラインメントを潜在変数として扱い、トレーニング中に周辺化する方法の妥当性の評価。
• ソフトアテンションを用いないにもかかわらず、尤度ベースのトレーニング目的関数が、競争力のあるTTS性能を達成できるかどうかの調査。

提案手法

• モデルは、ハードで単調なアラインメントを潜在変数として扱う、シーケンス・ツー・シーケンスのエンコーダ・デコーダアーキテクチャを採用。
• 音声特徴量とアラインメントの同時確率は、セグメント・ツー・シーケンスニューラルトランスダクション（SSNT）フレームワークを用いて計算。
• トレーニング段階では、入力トークンと出力フレームのトレリス上で前向き・後向きアルゴリズムを用いて、すべての可能なアラインメントを周辺化。
• 音声特徴量の発生確率は等方的ガウス分布としてモデル化され、遷移確率は自己回帰的ニューラルネットワークによって学習。
• 推論段階では、学習された同時分布からサンプリングすることで、アラインメントと音声特徴量を同時に生成し、最終的な入力トークンに到達した時点で停止。
• モデル全体は、補助ヘッドや損失項を必要とせず、単一の尤度目的関数を用いてエンドツーエンドで学習。

実験結果

リサーチクエスチョン

• RQ1 ソフトアテンションを一切使わないエンドツーエンドTTSシステムは、単調なハードアラインメントの周辺化のみで競争力のある性能を達成できるか？
• RQ2 明示的でハードな単調アラインメント制約を用いることで、スキップや繰り返しといった一般的なアラインメントエラーが低減されるか？
• RQ3 尤度ベースのトレーニング目的関数は、複雑なアテンション機構やストップフラグ予測といった補助的コンポーネントを置き換えられるか？
• RQ4 標準的な読み取り音声コーパスにおいて、このアプローチはソフトアテンションベースのTTSと比べてどの程度の性能を示すか？
• RQ5 この手法の主な失敗モードは何か。また、モデルの改善やより長いトレーニングによってそれらを緩和できるか？

主な発見

• 提案されたシステムは、標準的な読み取り音声コーパスにおいて平均意見スコア（MOS）2.33 ± 0.03を達成したが、これはベースラインのソフトアテンションベースのモデルより低かった。
• MOSが低い主な原因は、一時停止の期間が過大評価され、特に一時停止を含む文では不自然な音声プロソディが生じたことにある。
• 一時停止を含まない文ではMOSが2.75 ± 0.06に達しており、モデルが非一時停止セグメントではより良好に動作していることが示された。
• ハードアラインメントの固有の単調性のおかげで、ソフトアテンションベースのモデルに一般的に見られる曇声、スキップ、繰り返しといったアラインメントエラーは回避された。
• 堅牢なアラインメント学習が達成された一方で、長く続く母音の持続時間といった、新たなタイプのアラインメントエラーが観察された。これは、発生確率モデルの制限を示している。
• 周辺化処理のため、トレーニングが著しく遅く、より長いトレーニングにより性能が向上し、エラーが減少する可能性がある。