[論文レビュー] Interactive Text-to-Speech System via Joint Style Analysis

Yang Gao, Weiyi Zheng+4 more|arXiv (Cornell University)|Feb 17, 2020

Speech Recognition and Synthesis参考文献 27被引用数 6

ひとこと要約

本論文では、スタイル抽出モデルとマルチスタイルTTSシステムを共同で訓練することで、ユーザーの入力クエリの発話スタイルに一致する応答を生成するインタラクティブな音声合成（TTS）システムを提案する。非監視学習を用いて離散的なデータセット間でのスタイルラベルを整合させることで、スタイル付きの応答に対するユーザーの好みが向上し、72%の聴取者がスタイル付きTTSをデフォルトモデルよりも好む結果が得られた。

ABSTRACT

While modern TTS technologies have made significant advancements in audio quality, there is still a lack of behavior naturalness compared to conversing with people. We propose a style-embedded TTS system that generates styled responses based on the speech query style. To achieve this, the system includes a style extraction model that extracts a style embedding from the speech query, which is then used by the TTS to produce a matching response. We faced two main challenges: 1) only a small portion of the TTS training dataset has style labels, which is needed to train a multi-style TTS that respects different style embeddings during inference. 2) The TTS system and the style extraction model have disjoint training datasets. We need consistent style labels across these two datasets so that the TTS can learn to respect the labels produced by the style extraction model during inference. To solve these, we adopted a semi-supervised approach that uses the style extraction model to create style labels for the TTS dataset and applied transfer learning to learn the style embedding jointly. Our experiment results show user preference for the styled TTS responses and demonstrate the style-embedded TTS system's capability of mimicking the speech query style.

研究の動機と目的

• ユーザーの入力クエリのスタイルに合わせて発話スタイルを適応させる、より自然でインタラクティブなTTSシステムの開発。対話のリアルリズムを向上させる。
• TTSのトレーニングデータセットとスタイル抽出モデルのトレーニングデータ（例：IEMOCAP 対 プロフェッショナルTTSデータセット）の間でスタイルラベルが一貫しないという課題に対処する。
• 実際の発話クエリから抽出されたスタイル埋め込みを尊重することで、表現的で文脈に適した応答を生成できるようにする。
• 主観的評価を通じてユーザー体験を向上させ、スタイル付き応答がデフォルトのTTS出力よりも好まれることを示す。

提案手法

• IEMOCAPデータセットを用いて深層ニューラルネットワークアーキテクチャで学習されたマルチモーダルスタイル分類器を訓練し、音声入力からソフトスタイル埋め込みを抽出する。
• 訓練済みのスタイル分類器を半教師ありの方法で未ラベル付きTTSトレーニングデータに適用し、複数のデータセット間で一貫したスタイル埋め込みを生成する。
• 生成されたスタイル埋め込みを補助的制御特徴として用い、入力スタイルに応じた条件付き合成が可能なマルチスタイルTTSモデルを訓練する。
• スタイル埋め込みは、スタイル分類器のソフトマックス層から得られ、複数のスタイル（例：喜び、悲しみ、ニュートラル）の確率分布を表す。
• システムはスタイル抽出とTTS合成をクローズドループパイプラインで統合する：入力音声がスタイル分析され、そのスタイルに一致する応答がTTSで生成される。
• 転移学習と共同最適化を用いて、抽出モデルとTTSモデル間のスタイル表現空間を一致させる。

実験結果

リサーチクエスチョン

• RQ1 TTSシステムは、リアルタイムでユーザーの入力クエリの発話スタイルに一致する応答を生成でき、会話の自然さを向上させることができるか？
• RQ2 異なるスタイルラベル付けスキームを持つ2つの離散的データセット間で、スタイル埋め込みを一貫して予測・利用することは可能か？
• RQ3 リソース豊富なデータセット（IEMOCAP）から、より小さなプロフェッショナルに録音されたTTSデータセットにスタイルラベルを半教師ありアプローチで効果的に転送できるか？
• RQ4 スタイル付きTTSの応答は、デフォルトのニュートラルスタイルTTSよりもユーザーの好みが高くなるか？

主な発見

• 主観的好みテストにおいて、マルチスタイルTTSシステムはベースラインTTSモデルに対して72%のユーザー好みを得ており、スタイル付き応答への強い好まれ具合を示している。
• 聴取者の中で最も好まれたのはニュートラルスタイルであり、テスト発話の内容が落ち着いたニュートラルな発話に最も適していることと整合的である。
• システムは一般化能力を示しており、実際の未観測発話クエリに対する応答生成において、40%を超えるテストペアが「良いマッチ」と判断された。
• 「喜び」スタイルは、学習データの統計と整合的に、合成音声における平均F0が顕著に高くなる傾向を示しており、効果的なスタイル表現が実現していることが示された。
• 「悲しみ」と「怒り」のスタイルは、TTSデータセットにおけるこれらの感情のトレーニングサンプルが不足しているため、音声品質が比較的低かった。
• ABXテストの結果、マルチスタイルTTSは明確に区別可能なスタイルを生成できており、スタイル識別タスクで82.42%の正確度を達成した。