[論文レビュー] Style Tokens: Unsupervised Style Modeling, Control and Transfer in End-to-End Speech Synthesis

Yuxuan Wang, Daisy Stanton+8 more|arXiv (Cornell University)|Mar 23, 2018

Speech Recognition and Synthesis参考文献 21被引用数 474

ひとこと要約

GSTs（グローバルスタイルトークン）は、Tacotronで訓練される学習可能な埋め込みの集まりで、ラベルなしに多様な話し方スタイルを捉え、TTSにおけるスタイル制御と転送を可能にします。ノイズの多いラベルなしデータにも頑健です。

ABSTRACT

In this work, we propose "global style tokens" (GSTs), a bank of embeddings that are jointly trained within Tacotron, a state-of-the-art end-to-end speech synthesis system. The embeddings are trained with no explicit labels, yet learn to model a large range of acoustic expressiveness. GSTs lead to a rich set of significant results. The soft interpretable "labels" they generate can be used to control synthesis in novel ways, such as varying speed and speaking style - independently of the text content. They can also be used for style transfer, replicating the speaking style of a single audio clip across an entire long-form text corpus. When trained on noisy, unlabeled found data, GSTs learn to factorize noise and speaker identity, providing a path towards highly scalable but robust speech synthesis.

研究の動機と目的

• エンドツーエンドTTSにおける表現豊かな話し方プロソディのモデリングと制御を動機づける。
• ラベルなしの仕組みとして、話者スタイルを表現・制御するGlobal Style Tokensを導入する。
• TacotronベースのTTSにおいて、スタイル制御、転送、およびノイズの多いラベルなしデータへの頑健性を示す。
• GSTsがスタイルモーフィングと転送に利用可能な解釈可能なスタイル埋め込みを産出することを示す。

提案手法

• 参考エンコーダとスタイルトークンのバンクおよび注意機構をTacotronに統合し、スタイル埋め込みを生成する。
• 明示的なプロソディラベルなしで、再構成損失のみを用いてGSTsをTacotronモデルと共同訓練する。
• GSTsの加重和を用いてTacotronのテキストエンコーダを条件づけ、各タイムステップでプロソディに影響を与える。
• 推論時の制御を可能にする：i) 特定のトークンで条件づけ、ii) スタイル転送のための音声参照で条件づけ、または iii) 参照なしでトークンだけで使用。
• スタックヘッドの注意を用いてトークンウェイトを計算し、スタイル制御のためのトークンスケーリング、サンプリング、形態を検討する。

実験結果

リサーチクエスチョン

• RQ1 GSTsは明示的なプロソディラベルなしで多様で解釈可能な話し方スタイルを学習できるか？
• RQ2 GSTsはエンドツーエンドTTSにおいて有効なスタイル制御とスタイル転送を可能にするか？
• RQ3 GSTsはノイズの多いラベルなしデータに頑健で、ノイズと話者アイデンティティを分離できるか？
• RQ4 GSTsは自然さと聴取性の面で、基準Tacotronおよび参照埋め込みアプローチと比較してどうか？
• RQ5 GSTsは非並列のスタイル転送や別ドメイン間のスタイル適応（例：言語転送）をサポートできるか？

主な発見

• GSTsはトークンごとのF0やエネルギーなどのプロソディ属性と相関する解釈可能なスタイル埋め込みを生み出す。
• 単一トークンは複数の属性（例：話速、感情）を符号化でき、トークンのスケーリングに応じてその効果が予測可能に拡大する。
• GSTsは非並列のスタイル転送を有効にし、音声朗読風のオーディオブックスタイルにおいて主観的評価でTacotronベースラインを上回る。
• ノイズの多い発見データで訓練されたGSTsはノイズと話者要因を別個のトークンに分離し、十分なトークンを使用した場合、ノイズレベルを超えて高いMOS (~4.0) で安定した合成を実現。
• GST埋め込みはノイズと話者識別に関する識別情報を捉え、TEDデータで99.2%のノイズ分類精度を達成し、i-vectorを用いた競合的話者ID分類を実現している。
• GSTsによるスタイル転送は参照長とトークン数の変動に対しても頑健で、リスナーはサイドバイサイドのテストで基準よりGST出力を好む。