[論文レビュー] Uncovering Latent Style Factors for Expressive Speech Synthesis

Yuxuan Wang, RJ Skerry-Ryan+6 more|arXiv (Cornell University)|Nov 1, 2017

Speech Recognition and Synthesis参考文献 13被引用数 44

ひとこと要約

この論文では、エンドツーエンドTTSモデル内の学習された潜在変数としてのスタイルトークン——原始音声データから教師なしでプロソディックスタイル要因を発見可能にする——を導入する。Tacotronにスタイルアテンションメカニズムを追加することで、ラベルなしでグローバルなプロソディック変動（例：ピッチ、リズム、感情に似た手がかり）を分離・制御できるモデルが構築され、学習されたスタイル埋め込みを用いて一貫性があり制御可能な表現力豊かな音声合成を実現する。

ABSTRACT

Prosodic modeling is a core problem in speech synthesis. The key challenge is producing desirable prosody from textual input containing only phonetic information. In this preliminary study, we introduce the concept of "style tokens" in Tacotron, a recently proposed end-to-end neural speech synthesis model. Using style tokens, we aim to extract independent prosodic styles from training data. We show that without annotation data or an explicit supervision signal, our approach can automatically learn a variety of prosodic variations in a purely data-driven way. Importantly, each style token corresponds to a fixed style factor regardless of the given text sequence. As a result, we can control the prosodic style of synthetic speech in a somewhat predictable and globally consistent way.

研究の動機と目的

• テキストだけではプロソディックな変動を捉えきれないエンドツーエンドTTSシステムにおける表現力豊かなプロソディックのモデリングという課題に取り組む。
• 手動でのアノテーションを必要とせず、原始音声データから分離可能で解釈可能なプロソディックスタイル要因を発見する。
• 推論時に学習済みのスタイルトークンに条件づけて、明示的かつグローバルなプロソディック制御を可能にする。
• 序列変換フレームワーク内で再構成損失を用いることで、スタイルトークンが完全に教師なしで学習可能であることを示す。
• スタイルトークンが入力テキストに依存しない一貫したプロソディックスタイルを表していることを示す。

提案手法

• すべての入力シーケンスに共通するK個の学習可能スタイルトークンを持つスタイルエンコーダを導入し、それらを潜在的スタイル表現として機能させる。
• テキストアテンションメカニズムとは並列に、スタイルエンコーダの出力を参照する別個のスタイルアテンションメカニズムをタコトロンアーキテクチャに拡張する。
• テキストとスタイルのコンテキストベクトルを、シグモイド出力を持つ1層のMLP（多層パーセプトロン）によって学習可能なコントローラーで結合し、各デコーダステップでそれらの寄与度を動的に重みづけする。
• スペクトログ램出力に対する再構成損失のみを用いて、モデル全体をエンドツーエンドで学習し、スタイルトークンの教師なし学習を可能にする。
• 推論時に、選択されたスタイルトークンの埋め込みをスタイル埋め込み行列にブロードキャストする、または複数のスタイル埋め込みを線形補間することで、プロソディック制御を可能にする。
• アテンション混合重みを可視化し、合成過程でコンテンツ（テキスト）とスタイル（トークン）のモデリングの切り替えがどのように行われているかを分析する。

実験結果

リサーチクエスチョン

• RQ1 教師なしや明示的なアノテーションなしに、原始音声データから潜在的プロソディックスタイル要因を発見できるか？
• RQ2 学習済みのスタイルトークンは、ピッチレンジ、リズム、感情的なトーンといった解釈可能な一貫性のあるプロソディック変動に対応しているか？
• RQ3 推論時に、テキストに依存しないグローバルな方法でスタイルトークンを用いてプロソディックを制御できるか？
• RQ4 アテンションベースのメカニズムは、プロソディック要因の分離と柔軟なスタイルの組み合わせをどのように可能にするか？
• RQ5 アテンション重みのダイナミクスが示すように、モデルはコンテンツモデリングとスタイルモデリングの間を切り替えているか？

主な発見

• モデルは10個の明確に区別できるスタイルトークンを学習し、高音質、ロボット的、だらしない発話といった解釈可能なプロソディックスタイルに対応していることが、音声デモとF0トレース解析で確認された。
• 平滑化されたF0トレースから、スタイルトークン9は一貫して高いピッチを生成し、トークン8は平坦で低音の出力を示すことが確認され、スタイル固有のプロソディック特性が裏付けられた。
• テキストとスタイルのアテンション間の混合重みは、発話の音節境界と時間的に一致しており、モデルがコンテンツ処理とスタイル処理を切り替えていることを示唆している。
• 同じスタイルトークンを用いても、異なる発話文において一貫したプロソディックパターンが得られるため、スタイルトークンは入力テキストに依存しないことが実証された。
• スタイル埋め込みのブロードキャストや補間により、ユーザーが望む表現的特徴を持つ音声を生成できる制御可能なプロソディック音声合成が実現された。
• この手法は、標準評価セットで平均評価得点（MOS）が約4.0を達成し、自然さが高く、追加の教師信号なしに表現力制御が可能であることが示された。