[論文レビュー] ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion

Edresson Casanova, Christopher Shulby+5 more|arXiv (Cornell University)|Mar 29, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、クロスリンガルマルチスプーカーTTSおよびクロスリンガルボイスコンバージョンを用いた新しいASRデータ拡張手法を提案する。この手法により、低リソースなターゲット言語においては1人の実際のスプーカーのみで効果的なASRモデルの訓練が可能となる。本手法は、ポルトガル語（pt-BR）で33.96%、ロシア語（ru-RU）で36.59%のWERを達成し、顕著な低下を示した。これは、高品質な合成データが大規模な人間の声データセットで訓練されたモデルと同等の性能を発揮することを示している。

ABSTRACT

We explore cross-lingual multi-speaker speech synthesis and cross-lingual voice conversion applied to data augmentation for automatic speech recognition (ASR) systems in low/medium-resource scenarios. Through extensive experiments, we show that our approach permits the application of speech synthesis and voice conversion to improve ASR systems using only one target-language speaker during model training. We also managed to close the gap between ASR models trained with synthesized versus human speech compared to other works that use many speakers. Finally, we show that it is possible to obtain promising ASR training results with our data augmentation method using only a single real speaker in a target language.

研究の動機と目的

• マルチスプーカーのデータセットが入手不可能または収集が現実的でない低リソース環境において、効果的なASRシステムを訓練する課題に対処すること。
• ターゲット言語に1人の実際のスプーカーしか存在しない状況でも、合成データ拡張を用いて競争力のあるASRモデルを訓練できるかどうかを調査すること。
• クロスリンガルマルチスプーカーTTSおよびゼロショットボイスコンバージョンを活用して、ASRのための多様で現実的な訓練データを生成する可能性を検討すること。
• 低リソース状況下で、合成データで訓練されたモデルと人間の声で訓練されたモデルとの性能格差を是正すること。
• 最小限のデータ要件で、絶滅危惧言語やリソースが乏しい言語のASRシステムの実用的導入を可能にすること。

提案手法

• 事前学習済みのクロスリンガルマルチスプーカーTTSモデル（YourTTS）を用いて、ターゲット言語の1人のスプーカーの声から合成音声を生成する。
• クロスリンガルゼロショットボイスコンバージョンを適用し、生成された音声を1,248人の英語話者の声に変換することで、多様な合成訓練データを生成する。
• TTSモデルを、ターゲット言語（pt-BR または ru-RU）の1人の実際のスプーカーの声に限定して訓練し、ボイスコンバージョンのソース言語として英語を用いる。
• 2つの合成データセットを生成する：GEN_TTS（ターゲットスプーカーからの合成音声）およびGEN_VC（他のスプーカーの声に変換された音声）。
• GEN_TTSおよびGEN_VCデータを、元の1スプーカーのデータセットと組み合わせ、ASRの訓練データを拡張する。
• 拡張されたデータを用いてエンドツーエンドのASRモデルを訓練し、pt-BRおよびru-RUのCommon Voiceテストセットで性能を評価する。

Figure 1: Full pipeline diagram for Baseline + DA experiment

実験結果

リサーチクエスチョン

• RQ1 1人のターゲット言語スプーカーの音声で学習したTTSモデルが、ボイスコンバージョンを組み合わせることで、ASR性能を向上させられるか？
• RQ2 ターゲット言語に1人の実際のスプーカーしか存在しない状況でも、競争力のあるASR性能を達成できるか？
• RQ3 低リソース状況下で、合成データで訓練されたASRモデルの性能は、人間の声で訓練されたモデルと比べてどの程度か？
• RQ4 クロスリンガルマルチスプーカーTTSとクロスリンガルボイスコンバージョンの組み合わせは、既存のデータ拡張技術を上回る性能を発揮するか？
• RQ5 自己教師付き事前学習の文脈において、この手法は、事前学習に含まれた言語（例：ポルトガル語）および含まれない言語（例：ロシア語）の両方で一般化可能か？

主な発見

• 提案手法により、1人の実スプーカーのみを用いたベースライン（63.90%）から、ポルトガル語（pt-BR）のWERが33.96%に低下し、相対的改善率は29.94%に達した。
• ロシア語（ru-RU）においては、74.02%から36.59%にWERが低下し、相対的改善率は37.43%であった。
• 合成データ（GEN_TTS + GEN_VC）で訓練されたモデルは、ru-RUにおいてSOTAシステムと同等の性能を達成したが、実スプーカーは1名のみであった。
• 本手法は、Wav2Vec 2.0事前学習に含まれた言語（pt-BR）および含まれない言語（ru-RU）の両方で、有望な結果を示した。これは、一般化性能の高さを示している。
• 本手法により、合成データで訓練されたモデルと人間の声で訓練されたモデルとの性能格差が顕著に縮小され、pt-BRでは33.96%のWERを達成した。これは、自己教師付き学習を用いない場合の当該言語における先行SOTAを上回る結果であった。
• 上界（Common Voice + TTSデータセット）では、pt-BRで20.39%、ru-RUで24.80%のWERを達成した。これは、提案手法が競争力を持つものの、完全なデータ性能にはまだ差があることを示している。