[論文レビュー] Semi-Supervised Training for Improving Data Efficiency in End-to-End Speech Synthesis

Yu-An Chung, Yuxuan Wang+3 more|arXiv (Cornell University)|Aug 30, 2018

Speech Recognition and Synthesis参考文献 14被引用数 5

ひとこと要約

本論文は、対応するテキスト・音声コーパスが不足する状況において、非対応のテキストおよび音声コーパスを活用することで、エンドツーエンドTTSにおけるデータ効率を向上させる半教師あり学習フレームワークを提案する。Tacotronのエンコーダーを事前学習済み単語埋め込みベクトルで条件づけ、非対応の音声コーパスでデコーダーを事前学習することで、30分未塔の対応データでの学習でも聞き取り可能な音声合成が可能となり、顕著なデータ効率の向上を示した。

ABSTRACT

Although end-to-end text-to-speech (TTS) models such as Tacotron have shown excellent results, they typically require a sizable set of high-quality pairs for training, which are expensive to collect. In this paper, we propose a semi-supervised training framework to improve the data efficiency of Tacotron. The idea is to allow Tacotron to utilize textual and acoustic knowledge contained in large, publicly-available text and speech corpora. Importantly, these external data are unpaired and potentially noisy. Specifically, first we embed each word in the input text into word vectors and condition the Tacotron encoder on them. We then use an unpaired speech corpus to pre-train the Tacotron decoder in the acoustic domain. Finally, we fine-tune the model using available paired data. We demonstrate that the proposed framework enables Tacotron to generate intelligible speech using less than half an hour of paired training data.

研究の動機と目的

• 対応するテキスト・音声データが多数必要となるエンドツーエンドTTSモデル（例：Tacotron）の高いデータ要件を解決すること。
• 大規模で公開済みの非対応テキストおよび音声コーパスを活用することで、リソースが限られたTTS環境におけるデータ効率を向上させること。
• 外部の非対応データを用いた教師なし事前学習が、エンコーダーおよびデコーダーにおける表現学習をどのように促進するかを調査すること。
• 半教師あり学習の有効性を評価し、聞き取り可能な音声を生成するための最小データ閾値を低減できるかを検証すること。
• エンドツーエンドTTSモデルに外部リソースからのテキスト的および音声的知識を統合するための設計指針を提示すること。

提案手法

• エンコーダー入力またはエンコーダー出力に事前学習済み単語埋め込みベクトルを連結する2つの条件づけ方法（連結法と要素ごとの加算法）を用いて、Tacotronエンコーダーを条件づける。
• 非対応音声コーパスを用いてデコーダーを教師なしで事前学習し、その後小規模な対応データでファインチューニングする。
• 事前学習済みニューラル言語モデル（NNLM）の単語埋め込みを用いて、エンコーダーに意味的および構文的知識を注入し、対応データが限られた状況でもテキスト表現を向上させる。
• 学習および評価サイクルの高速化を目的として、波形再構成にGriffin-Limを適用し、音声の高精細度ではなくデータ効率に焦点を当てる。
• 小規模な対応データのみを用いて、テキストと音声表現のアライメントを学習するため、モデル全体をファインチューニングする。
• エンコーダーのみ（T-Enc）、デコーダーのみ（T-Dec）、および統合的（T-Enc-Dec）の条件づけ設定を比較し、MCDおよび主観評価を通じて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み単語埋め込みベクトルは、TacotronのようなエンドツーエンドTTSモデルのデータ効率を顕著に向上させることができるか？
• RQ2 非対応音声コーパスを用いたデコーダーの事前学習は、最小限の対応データでもアライメント学習および音声品質の向上に寄与するか？
• RQ3 半教師ありTTSフレームワークにおいて、非対応データからのテキスト的および音声的知識を最適に統合する構成は何か？
• RQ4 非常に限られた対応データ（例：30分未塔）で学習した場合、半教師ありTacotronの性能は標準ベースラインと比べてどの程度異なるか？
• RQ5 提案フレームワークは、30分未塔の対応学習データで聞き取り可能な音声を生成できるか？

主な発見

• 提案された半教師ありフレームワークにより、Tacotronは対応データがたった24分の学習でも聞き取り可能な音声を生成可能となり、データ要件が顕著に低減された。
• T-Dec（デコーダーの事前学習）は全設定の中で最も低いMCD（12.09）を達成し、非対応音声から優れた音声表現を学習したことを示した。
• T-EncおよびT-Decの両方の設定が、主観評価においてベースラインT-Baseを顕著に上回り、60％以上の評価者がそれらをベースラインよりも好む傾向を示した。
• 並べ替え主観評価では、T-Enc、T-Dec、T-Enc-Decの間で強い好みの差が認められず、異なる事前学習戦略にもかかわらず、同等の知覚的品質を達成した。
• 対応データが12分のとき、半教師ありモデルとベースラインとの性能差が最大となり、本フレームワークが低データ環境において最も顕著な利点を示すことを裏付けた。
• 全データ量において、ベースラインより低いMCDを一貫して達成したため、データ効率以上の利点（例：より良い抑揚、より高い耐障害性）も得られている可能性が示唆された。