[論文レビュー] Using previous acoustic context to improve Text-to-Speech synthesis

Pilar Oplustil Gallegos, Simon King|arXiv (Cornell University)|Dec 7, 2020

Speech Recognition and Synthesis参考文献 7被引用数 9

ひとこと要約

本稿では、グローバルスタイルトークンに基づく音声的文脈エンコーダー（ACE）を用いて、以前の発話からの音声的文脈を活用することで、話し言葉の自然さを向上させる文脈に配慮した音声合成（TTS）モデルを提案する。モデルは、標準のTacotron 2損失と、現在の発話の埋め込みを予測する回帰タスクを組み合わせたマルチタスク損失で学習され、主観評価において標準のTacotron 2ベースラインと比較して著しく自然な音声が得られる。

ABSTRACT

Many speech synthesis datasets, especially those derived from audiobooks, naturally comprise sequences of utterances. Nevertheless, such data are commonly treated as individual, unordered utterances both when training a model and at inference time. This discards important prosodic phenomena above the utterance level. In this paper, we leverage the sequential nature of the data using an acoustic context encoder that produces an embedding of the previous utterance audio. This is input to the decoder in a Tacotron 2 model. The embedding is also used for a secondary task, providing additional supervision. We compare two secondary tasks: predicting the ordering of utterance pairs, and predicting the embedding of the current utterance audio. Results show that the relation between consecutive utterances is informative: our proposed model significantly improves naturalness over a Tacotron 2 baseline.

研究の動機と目的

• 物語形式のオーディオブックのような文脈で存在する長時間の抑揚的文脈を無視する、発話単位としての音声データの処理の限界を是正すること。
• 以前の音声からの音声的文脈を活用することで、連続する発話間の抑揚的依存関係をモデル化し、TTSの自然さを向上させること。
• 音声的文脈に基づく補助タスクで学習させることで、合成音声の一般化性能と抑揚の現実性が向上するかどうかを検証すること。
• 合成音声が連続的な文脈で聞かれた際に、特に連続する文章においてより自然に聞こえるかどうかを評価すること。

提案手法

• グローバルスタイルトークン（GST）に基づく音声的文脈エンコーダー（ACE）を用いて、前の発話の音声をコンパクトな表現に埋め込む。
• トレーニングおよび推論の両段階で、ACEの埋め込みをTacotron 2のデコーダーに追加の文脈ベクトルとして統合する。
• 標準のTacotron 2損失と、前の発話から現在の発話の埋め込みを予測する補助回帰損失を組み合わせたマルチタスク学習の設定を採用する。
• 2つの補助タスクを評価する：現在の発話の埋め込みを予測する（Next Task）タスクと、発話ペアの順序を予測する（Pair Order）タスク。
• TTS損失と補助タスク損失の合計を用いて、エンドツーエンドで学習させ、ネットワークが文脈的な抑揚パターンを学習できるようにする。
• 推論段階では、ACEが前の合成発話の音声を入力として、文脈埋め込みを生成する。これにより、因果的かつ文脈に配慮した生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 前の発話からの音声的文脈をモデル化することで、TTSが生成する音声の自然さが向上するか？
• RQ2 前の発話から現在の発話の埋め込みを予測する回帰ベースの補助タスクで学習させることで、他のタスクと比較して抑揚のモデリングが向上するか？
• RQ3 推論段階でモデルが文脈を実際に使用している程度はどの程度か？（無視しているのかどうか）
• RQ4 合成音声が連続的な文脈で聞かれた際に、特に連続する文章においてより自然に聞こえるか？

主な発見

• 主観評価において、標準のTacotron 2ベースラインと比較して、提案モデルは著しく話し言葉の自然さが向上しており、聴衆は音声品質が高く、より自然な抑揚を感じ取っている。
• 前の発話から現在の発話の埋め込みを回帰予測する「Next Task」モデルが、「Pair Order」タスクを上回り、自然さの観点で最も優れた結果を達成している。
• 定性的な分析から、正しい音声的文脈を用いて学習したモデルは、入力文脈に応じて多様なピッチの変化、発話時間、および一時停止を生成しており、合成段階で文脈を能動的に使用していることが示された。
• 一方、ランダム（無関係な）文脈を用いて学習したモデルは、入力にかかわらず同一の出力を生成し続けるため、『Next Task』モデルが提供された文脈を意味的に活用していることが裏付けられた。
• 結果から、音声的文脈を通じて長時間の抑揚パターンをモデル化することで、孤立した発話の品質向上に加え、連続的音声における文脈的自然さの向上が図られることが示唆された。