[論文レビュー] Conversational End-to-End TTS for Voice Agent

Haohan Guo, Shaofei Zhang+3 more|arXiv (Cornell University)|May 21, 2020

Speech Recognition and Synthesis参考文献 23被引用数 5

ひとこと要約

本論文は、独自の自然な会話音声コーパスと二重エンコーダー構造を用いて、会話文脈に配慮したエンドツーエンドTTSシステムを提案する。補助エンコーダーを用いて意味的・構文的特徴を統合し、会話履歴を処理する会話文脈エンコーダーを導入することで、より自然なプロソディを実現するとともに、フィラー・繰り返しといった即興的行動を効果的に表現し、ベースラインモデルを0.62 CMOSおよび会話レベルで59.0%の好みの向上で上回った。

ABSTRACT

End-to-end neural TTS has achieved superior performance on reading style speech synthesis. However, it's still a challenge to build a high-quality conversational TTS due to the limitations of the corpus and modeling capability. This study aims at building a conversational TTS for a voice agent under sequence to sequence modeling framework. We firstly construct a spontaneous conversational speech corpus well designed for the voice agent with a new recording scheme ensuring both recording quality and conversational speaking style. Secondly, we propose a conversation context-aware end-to-end TTS approach which has an auxiliary encoder and a conversational context encoder to reinforce the information about the current utterance and its context in a conversation as well. Experimental results show that the proposed methods produce more natural prosody in accordance with the conversational context, with significant preference gains at both utterance-level and conversation-level. Moreover, we find that the model has the ability to express some spontaneous behaviors, like fillers and repeated words, which makes the conversational speaking style more realistic.

研究の動機と目的

• 音声アシスタント向けに、高品質で自然な会話音声を生成する課題に対処すること。
• 高音質と本物の会話スタイルを両立する新しい録音方式を開発すること。
• 会話行動の手動ラベルや複雑なラベルを必要とせず、文脈依存のプロソディをモデル化できるエンドツーエンドTTSモデルを設計すること。
• TTSシステムが、フィラー や繰り返しといった即興的会話行動を自然に表現できるようにすること。

提案手法

• 3段階の演技録音方式を採用：シナリオと会話の設計、演技に基づく録音、トランスクリプションによる高品質で自然な会話コーパスの構築。
• BERT埋め込みと統計的構文特徴を用いて、意味的・構文的特徴を抽出する補助エンコーダーを導入し、プロソディモデリングを向上させた。
• 過去の発話のBERT埋め込みを用いて、発話履歴を符号化する会話文脈エンコーダーを設計し、文脈に配慮したプロソディ生成を可能にした。
• Transformerベースのデコーダーを備えたシーケンス・トゥ・シーケンスフレームワークを採用。単一GPUで学習率スケジューリング付きAdam最適化手法を用いて学習した。
• エンドツーエンドTTSシステムは、テキストから音声を生成するプロセスを同時に最適化しつつ、学習データを通じて即興的行動を明示的なラベルなしに暗黙的に学習できるようにした。

実験結果

リサーチクエスチョン

• RQ1 新しい録音方式により、音声の高精細度と自然な会話スタイルを両立した高品質な会話TTSコーパスを構築できるか？
• RQ2 補助エンコーダーと文脈エンコーダーを備えたエンドツーエンドTTSモデルは、会話文脈に適合したより自然なプロソディを生成できるか？
• RQ3 明示的なラベルなしに、フィラー や繰り返しといった即興的会話行動をモデルが学習できるか？
• RQ4 補助エンコーダーと文脈エンコーダーは、発話レベルおよび会話レベルの両方で、個別および統合的にどのようにプロソディを向上させるか？

主な発見

• 提案モデルは、ベースラインと比較して0.62 CMOSの向上と会話レベルで59.0%の好みの向上を達成し、文脈に配慮したプロソディの自然さが顕著に向上した。
• 補助エンコーダー単体でも、発話レベルでCMOSが0.22向上し、好みが42.9%向上した。これは、意味的・構文的モデリングの向上によるプロソディの改善を示している。
• 会話文脈エンコーダーの導入により、さらに発話レベルでCMOSが0.18向上し、好みが42.1%向上した。
• モデルは、明示的教師信号なしに、フィラーや繰り返し語の生成を効果的に学習し、即興的会話行動の再現性を高めた。
• 両エンコーダーの組み合わせにより、会話レベルでCMOSが0.39向上し、好みが57.0%向上した。文脈モデリングにおける相乗効果が顕著に現れた。