[論文レビュー] Unsupervised Data Selection for TTS: Using Arabic Broadcast News as a Case Study

Massa Baali, Tomoki Hayashi+5 more|arXiv (Cornell University)|Jan 22, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、DNSMOSを用いた自動データ選別、母音化、ASRを用いた転写補正を活用し、アラビア語放送ニュースを用いて、完全に教師なしの低リソースTTSシステム構築フレームワークを提案する。1時間の選別済みデータでの微調整により、非自己回帰的FastSpeech2モデルを、事前学習済みの自己回帰的TTSモデルでガイドする手法を採用し、識別性のMOSが4.4、自然さのMOSが4.2を達成した。データ品質の向上と効率的な学習戦略のおかげで、より大きなデータセットを上回る性能を発揮した。

ABSTRACT

Several high-resource Text to Speech (TTS) systems currently produce natural, well-established human-like speech. In contrast, low-resource languages, including Arabic, have very limited TTS systems due to the lack of resources. We propose a fully unsupervised method for building TTS, including automatic data selection and pre-training/fine-tuning strategies for TTS training, using broadcast news as a case study. We show how careful selection of data, yet smaller amounts, can improve the efficiency of TTS system in generating more natural speech than a system trained on a bigger dataset. We adopt to propose different approaches for the: 1) data: we applied automatic annotations using DNSMOS, automatic vowelization, and automatic speech recognition (ASR) for fixing transcriptions' errors; 2) model: we used transfer learning from high-resource language in TTS model and fine-tuned it with one hour broadcast recording then we used this model to guide a FastSpeech2-based Conformer model for duration. Our objective evaluation shows 3.9% character error rate (CER), while the groundtruth has 1.3% CER. As for the subjective evaluation, where 1 is bad and 5 is excellent, our FastSpeech2-based Conformer model achieved a mean opinion score (MOS) of 4.4 for intelligibility and 4.2 for naturalness, where many annotators recognized the voice of the broadcaster, which proves the effectiveness of our proposed unsupervised method.

研究の動機と目的

• 低リソースTTSにおける高品質でペairedなテキスト・オーディオデータの不足に取り組むために、広く利用可能だが品質が低い放送ニュース録音を活用すること。
• 人的アノテーションに代わる、DNSMOSやASRに基づく誤差補正といった自動指標を用いた完全に教師なしのデータ選別パイプラインの開発。
• アラビア語の生トランスクリプトに母音化を適用し、高リソース言語からのトランスファーラーニングを用いることで、TTSの品質と効率を向上させること。
• 自動手法によるデータ選別で得た、より小さなが高品質なデータセットが、より大きながノイズの多いデータセットを上回るTTS性能を発揮することを実証すること。
• 最小限の人的介入と既存の音声コーパスを用いて、低リソース言語の効率的かつ再現可能なTTS学習を可能にすること。

提案手法

• DNSMOSを用いた自動データ選別により、音声クリップの品質をランク付けし、人的アノテーションに代わるスケーラブルで客観的な指標を導入。
• 生トランスクリプトに自動母音化を適用し、文字誤り率（CER）を32.2%から3.9%に低減。
• 放送ニュースデータのトランスクリプト誤りを補正するために、自動音声認識（ASR）の適用。
• 高リソース言語（例：英語）から、自己回帰的TTSモデル（Tacotron2）を事前学習し、そのモデルが非自己回帰的FastSpeech2ベースのConformerモデルをガイドするトランスファーラーニングの適用。
• 高品質で自動的に選別された放送ニュースデータのみ1時間分を用いて、非自己回帰的モデルを微調整。
• 最終合成における音声の自然さを向上させるために、WaveNetベースの神経音声生成器（PWG）の適用。

実験結果

リサーチクエスチョン

• RQ1 DNSMOSなどの自動指標は、低リソースTTSにおけるデータ選別で、熟練した人的アノテーションと同等の性能を達成できるか？
• RQ2 生で母音化されていないトランスクリプトにアラビア語で母音化を適用した場合、TTS性能にどの程度の向上が見られるか？
• RQ3 高リソース言語からのトランスファーラーニングは、アラビア語における高品質TTSシステムの学習に必要なデータ量を顕著に削減できるか？
• RQ4 教師なし手法で選別された、より小さなが高品質なデータセットで学習した場合、ノイズの多いより大きなデータセットで学習した場合に比べ、音声の自然さと識別性の面で優れた性能を発揮するか？
• RQ5 事前学習済みの自己回帰的教師モデルでガイドされた非自己回帰的TTSモデルは、わずか1時間の微調整データで高MOSスコアを達成できるか？

主な発見

• DNSMOSを用いた提案された教師なしデータ選別は、CER 4.0%を達成し、人的選別による3.9%とほぼ同等の精度を示し、自動指標の高い信頼性を裏付けた。
• 母音化により、CERが32.2%から3.9%に著しく低下し、トランスクリプト品質が向上し、TTS性能の向上が可能になった。
• FastSpeech2ベースのConformerモデルは、識別性のMOSが4.4、自然さのMOSが4.2を達成し、微調整に使用したデータがわずか1時間であるにもかかわらず、ほぼ優れた音声品質を示した。
• 正解の録音は、識別性と自然さの両方でMOS 4.9を記録しており、人間の聴取者が発話者の声を容易に識別できることを示し、合成音声の知覚的品質を裏付けた。
• 神経音声生成器（PWG）の適用により、自然さと識別性が向上し、MOSはそれぞれ4.4および4.2に上昇した。非自己回帰的TTSにおける高精度な音声生成器の利点を確認した。
• 減少率が1で母音化を施したモデル（7V）が、より高い減少率のモデルを上回った。これは、高速な推論が常に品質向上に繋がるわけではないこと、そして速度よりもデータ品質がより重要であることを示唆している。