[論文レビュー] Text-To-Speech Data Augmentation for Low Resource Speech Recognition

Rodolfo Zevallos|arXiv (Cornell University)|Apr 1, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文は、クエチャワなどの低リソースで屈曲語の特徴を持つ言語向けに、テキストtoスピーチ（TTS）に基づくデータ拡張手法を提案する。この手法は、sequence-to-sequence（seq2seq）テキスト生成とTTSを組み合わせ、合成テキストおよび音声を生成する。このアプローチにより、クエチャワのASRモデルにおける語誤り率（WER）が相対的に8.73%低減され、低リソース音声認識性能に顕著な向上が示された。

ABSTRACT

Nowadays, the main problem of deep learning techniques used in the development of automatic speech recognition (ASR) models is the lack of transcribed data. The goal of this research is to propose a new data augmentation method to improve ASR models for agglutinative and low-resource languages. This novel data augmentation method generates both synthetic text and synthetic audio. Some experiments were conducted using the corpus of the Quechua language, which is an agglutinative and low-resource language. In this study, a sequence-to-sequence (seq2seq) model was applied to generate synthetic text, in addition to generating synthetic speech using a text-to-speech (TTS) model for Quechua. The results show that the new data augmentation method works well to improve the ASR model for Quechua. In this research, an 8.73% improvement in the word-error-rate (WER) of the ASR model is obtained using a combination of synthetic text and synthetic speech.

研究の動機と目的

• 低リソース言語の音声認識モデルを訓練するにあたり、注釈付き音声データが限られているという重要な課題に対処すること。
• 合成学習データの生成を通じて、特にクエチャワを含む屈曲語のASR性能を向上させること。
• sequence-to-sequenceテキスト生成とテキストtoスピーチ合成を組み合わせたハイブリッドデータ拡張フレームワークの開発および評価すること。
• 合成データの有効性が、低リソースASRシナリオにおける語誤り率（WER）の低減にどのように寄与するかを実証すること。

提案手法

• 既存の注釈付き音声データから、クエチャワの合成テキストを生成するためのsequence-to-sequence（seq2seq）モデルを学習する。
• 別個のテキストtoスピーチ（TTS）モデルを、生成された合成テキストを合成音声に変換するように学習する。
• 合成テキストと音声のペアを、実際の学習データと組み合わせて、ASRの学習データセットを拡張する。
• 拡張されたデータセットを用いて、事前に学習済みのASRモデルを微調整し、その頑健性と一般化性能を向上させる。
• 本手法は、注釈付きデータが限られている低リソースで屈曲語特徴を持つクエチャワ言語コーパスを用いて評価される。
• 生成された意味的に妥当で、発音的にも妥当な発話文を生成することで、言語的および音声的データ拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 合成テキストおよび音声生成は、クエチャワのような低リソースで屈曲語特徴を持つ言語におけるASR性能を向上させることができるか？
• RQ2 seq2seq + TTSの統合されたデータ拡張パイプラインは、ASRモデルの語誤り率（WER）低減にどの程度効果的か？
• RQ3 合成データの品質は、低リソース環境下でのASRモデルの一般化能力に影響を与えるか？
• RQ4 合成テキストと合成音声の両者が、ASR性能の向上に果たす相対的寄与度はどの程度か？

主な発見

• 提案されたデータ拡張手法は、クエチャワのASRモデルにおいて、語誤り率（WER）に相対的に8.73%の改善を達成した。
• 合成テキストと合成音声の組み合わせが、単独で使用する場合よりも高い性能向上をもたらした。
• seq2seqモデルは、屈曲語特徴としての典型的な語彙的複雑性を保持した、言語的に妥当なクエチャワのテキストを効果的に生成した。
• TTSモデルは、自然な響きの合成音声を生成し、ASRの微調整に有効であった。
• 本手法は、実際の注釈付きデータが乏しい低リソース環境でも頑健であることが示された。
• TTSとseq2seqによる合成データ生成が、学習データの拡張とASRの一般化性能向上に効果的に寄与することが確認された。