[論文レビュー] Predicting Expressive Speaking Style From Text In End-To-End Speech Synthesis

Daisy Stanton, Yuxuan Wang+1 more|arXiv (Cornell University)|Aug 4, 2018

Speech Recognition and Synthesis参考文献 23被引用数 7

ひとこと要約

本論文では、推論時に明示的なスタイルラベルや補助入力を必要とせず、テキストのみから表現的な話し方のスタイルを予測するエンドツーエンド音声合成手法であるText-Predicted Global Style Tokens (TP-GST) を紹介する。人間の好みテストによる検証では、ベースラインモデルと比較してより自然なプロソディを実現し、ピッチとエネルギーの変動が顕著に増加している。

ABSTRACT

Global Style Tokens (GSTs) are a recently-proposed method to learn latent disentangled representations of high-dimensional data. GSTs can be used within Tacotron, a state-of-the-art end-to-end text-to-speech synthesis system, to uncover expressive factors of variation in speaking style. In this work, we introduce the Text-Predicted Global Style Token (TP-GST) architecture, which treats GST combination weights or style embeddings as "virtual" speaking style labels within Tacotron. TP-GST learns to predict stylistic renderings from text alone, requiring neither explicit labels during training nor auxiliary inputs for inference. We show that, when trained on a dataset of expressive speech, our system generates audio with more pitch and energy variation than two state-of-the-art baseline models. We further demonstrate that TP-GSTs can synthesize speech with background noise removed, and corroborate these analyses with positive results on human-rated listener preference audiobook tasks. Finally, we demonstrate that multi-speaker TP-GST models successfully factorize speaker identity and speaking style. We provide a website with audio samples for each of our findings.

研究の動機と目的

• 推論時に明示的なスタイルアノテーションや外部入力を必要としない音声合成システムの開発。
• 生のテキストから学習した潜在表現を用いて、話者の個性と背景ノイズを分離する。
• 表現的なプロソディをテキストから直接予測するエンドツーエンド音声合成を実現し、自然さと聴取者好みを向上させる。
• スタイルトークンが話者間で共有可能であることを示し、話者個性を保持したままスタイル転送を可能にする。

提案手法

• TP-GSTアーキテクチャは、Tacotronを拡張したもので、2つのパスを導入する：1つは交差エントロピー損失を用いてGSTの重みを予測するパス、もう1つはL1損失を用いてスタイル埋め込みを予測するパス。
• モデルはピッチ、エネルギー、話者の発話速度などのグローバルなプロソディ変動を捉える、学習可能なスタイルトークンの共有セットを用いる。
• 学習段階では、Tacotronの元の損失に加え、GST重みまたはスタイル埋め込みに基づく追加のスタイル予測損失を含む組み合わせ損失関数を最小化する。
• 推論段階では、テキスト埋め込みのみに条件づけられ、補助信号や手動でのスタイル選択なしにスタイル予測が可能である。
• マルチスプーカーTP-GSTモデルでは、話者個性の埋め込みを入力の条件として用いながら、全話者で同じスタイルトークンセットを共有する。
• 共有可能で学習可能なスタイルトークンを通じて、話者個性、話し方のスタイル、背景ノイズの分離されたモデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 明示的なスタイルアノテーションや補助入力なしに、テキストのみから表現的な話し方のスタイルを予測できるか？
• RQ2 TP-GSTモデルは、共有された潜在空間内で話し方のスタイルを話者個性や背景ノイズから分離できるか？
• RQ3 テキストから予測されたスタイル生成は、ベースラインTTSモデルと比較してより自然なプロソディと高い聴取者好みをもたらすか？
• RQ4 マルチスプーカーTP-GSTモデルは、話者個性を保持しながら、異なる声間での表現的なスタイル転送を可能にするか？

主な発見

• TP-GSTモデルは、2つの最先端ベースラインモデルと比較して、顕著に増加したピッチとエネルギーの変動を示しており、より優れたプロソディ的表現性を示している。
• 人間の聴取者による評価では、TP-GSTが生成したオーディオブック音声がベースラインTacotronの音声を上回る好みを得た。
• 定性的および定量的分析により、合成段階で背景ノイズが効果的に除去されていることが裏付けられた。
• マルチスプーカーTP-GSTモデルは、話者個性と話し方のスタイルを因子分解し、話者個性を維持しながらスタイル転送を可能にした。
• 音声サンプルでは、個々のスタイルトークンに条件づけることで、ピッチ、エネルギー、発話速度の差を示す明確なプロソディ的変動が得られている。
• モデルは、混合データで学習した後でも、表現的なオーディオブック、ニュートラルなニュース、アシスタント風の発話など、さまざまな話し方スタイルに一般化している。