[論文レビュー] Building a mixed-lingual neural TTS system with only monolingual data

Liumeng Xue, Wei Song+3 more|arXiv (Cornell University)|Apr 12, 2019

Natural Language Processing Techniques参考文献 25被引用数 4

ひとこと要約

本論文では、ターゲット話者の単語単位のデータのみを用いて、中国語-英語のコードスイッチングに対応するミックスド・リンガル神経音声合成システムを提案する。デコーダーに平均ボイスモデルと話者埋め込みを組み合わせ、音声の自然さと話者の一貫性を実現する。また、音声の自然さと話者の一貫性を向上させるために、音素を考慮したアテンション機構を導入する。本研究では、単語単位のデータを適切に活用することで、ミックスド・リンガル合成の高品質化が可能であることを示している。

ABSTRACT

When deploying a Chinese neural text-to-speech (TTS) synthesis system, one of the challenges is to synthesize Chinese utterances with English phrases or words embedded. This paper looks into the problem in the encoder-decoder framework when only monolingual data from a target speaker is available. Specifically, we view the problem from two aspects: speaker consistency within an utterance and naturalness. We start the investigation with an Average Voice Model which is built from multi-speaker monolingual data, i.e. Mandarin and English data. On the basis of that, we look into speaker embedding for speaker consistency within an utterance and phoneme embedding for naturalness and intelligibility and study the choice of data for model training. We report the findings and discuss the challenges to build a mixed-lingual TTS system with only monolingual data.

研究の動機と目的

• 単一のターゲット話者の単語単位のデータのみを用いて、ミックスド・リンガルTTSシステムを構築できるかどうかを調査すること。
• 言語切り替えが発生する発話において、話者埋め込みが話者の一貫性を維持する効果を評価すること。
• 音素埋め込みが、コードスイッチド発話における自然さと理解性を向上させるかどうかを検討すること。
• 高品質なミックスド・リンガル合成を実現するために、単語単位の学習データが十分であるか、あるいはミックスド・リンガルデータが必要不可欠であるかを特定すること。
• モデルアーキテクチャの選択、特に話者埋め込みの配置やアテンション機構の影響が、合成品質に与える影響を分析すること。

提案手法

• 中国語と英語の複数話者による単語単位のデータを用いて、平均ボイスモデル（AVM）を訓練し、共有音声空間を確立する。
• 話者埋め込みをデコーダー入力に統合（SE-DEC）することで、話者アイデンティティの制御を強化し、言語切り替え時の一貫性を向上させる。
• 音素を考慮したアテンションを、追加のコンテキストベクトル（PECV）とリサイクルエンコーダー（RES）を用いて実装し、アライメントとコンテキスト表現を強化する。
• モデルは3種類のデータ設定で訓練される：中国語単語単位（CORPUS-MAN）、英語単語単位（CORPUS-ENG）、およびターゲット話者のミックスド・リンガル発話（CORPUS-MIX）。
• 自然さと話者一貫性の両面で、AB選択テストを用いて性能を評価する。
• SE-DECと再訓練済みAVMを比較し、学習データ構成がモデルの一般化性能に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダー・デコーダー構造のモデルが、二語話データなしに単語単位のデータのみで学習した場合、中国語と英語の音素に対して意味的かつ明確な音声的表現を学習できるか。
• RQ2 話者埋め込みの配置（エンコーダー vs. デコーダー）が、ミックスド・リンガル発話における話者一貫性に与える影響は何か。
• RQ3 音素埋め込みは、コードスイッチド発話におけるアテンションのアライメントを向上させ、自然さと理解性を向上させられるか。
• RQ4 単語単位のデータのみで、強固なミックスド・リンガルTTSシステムを学習できるか。それとも、最適なパフォーマンスを得るにはミックスド・リンガルデータが必要不可欠か。
• RQ5 学習データの選択（中国語のみ、英語のみ、またはミックスド）が、モデルの言語間一般化能力に与える影響は何か。

主な発見

• 複数話者による単語単位のデータを用いて訓練された平均ボイスモデルは、二語話データが存在しない状況下でも、中国語と英語の音素を意味的に区別する表現を学習している。
• デコーダー入力に話者埋め込みを統合したSE-DECは、エンコーダー統合と比較して、言語切り替え時の話者一貫性をより効果的に維持している。
• ミックスド・リンガル学習データ（CORPUS-MIX）は、単語単位のデータよりも好ましいが、単語単位のデータでも十分に妥当な結果が得られている。
• リサイクルエンコーダー（SE-DEC-RES）は、追加のコンテキストベクトル（SE-DEC-PECV）よりも、3言語すべてにおいて自然さが優れているが、話者一貫性は同等である。
• 聴取テストの結果、中国語単語単位のデータで学習したモデルは、中国語単語発話の合成において好まれるが、英語データが存在しない場合、中国語データが英語単語発話の合成においてもミックスド・リンガルデータを上回る性能を示している。
• 音素を考慮したアテンションは、特に中国語語と英語語の隣接する発話において、中国語の声調の不正確さを顕著に低減させ、自然さと話者一貫性を著しく向上させた。