[論文レビュー] BembaSpeech: A Speech Recognition Corpus for the Bemba Language

Claytone Sikasote, Antonios Anastasopoulos|arXiv (Cornell University)|Feb 9, 2021

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本論文では、ザンビア人口の30％以上を占める低リソースのバントゥー語の一つであるベンバ語向けに、24時間分の読み書き音声コーパス「BembaSpeech」を紹介する。このコーパスを用いて事前学習済みのDeepSpeech英語モデルを微調整することで、語誤り率（WER）54.78％を達成し、最小限で選別された音声データを用いて、低リソースなアフリカ言語向けにエンドツーエンドの自動音声認識システムを構築する可能性を示した。

ABSTRACT

We present a preprocessed, ready-to-use automatic speech recognition corpus, BembaSpeech, consisting over 24 hours of read speech in the Bemba language, a written but low-resourced language spoken by over 30% of the population in Zambia. To assess its usefulness for training and testing ASR systems for Bemba, we train an end-to-end Bemba ASR system by fine-tuning a pre-trained DeepSpeech English model on the training portion of the BembaSpeech corpus. Our best model achieves a word error rate (WER) of 54.78%. The results show that the corpus can be used for building ASR systems for Bemba. The corpus and models are publicly released at https://github.com/csikasote/BembaSpeech.

研究の動機と目的

• ザンビア語およびアフリカ言語における自動音声認識（ASR）のための言語資源の不足に対処すること。
• ザンビア人口の30％以上を占めるベンバ語のための、公開可能で事前処理済みの音声コーパスを作成すること。
• 事前学習済みの英語モデルからの転移学習を用いて、ベンバ語向けのエンドツーエンドASRシステムを訓練する可能性を実証すること。
• バントゥー語およびアフリカ言語向けの低リソース音声認識分野における今後の研究のためのベースラインを確立すること。

提案手法

• BembaSpeechコーパスは、ザンビア各地の100名のネイティブ話者から収集され、制御された環境下での読み書き音声を含む。
• データセットは、合計24時間のトランスクリプト付き音声で構成され、訓練用（17.5時間）、検証用（3.5時間）、テスト用（3時間）に分割されている。
• 英語音声で事前学習されたDeepSpeechモデルを、初期学習率0.00005を用いてBembaSpeechの訓練セットで微調整した。
• KenLMを用いて、トランスクリプトとJW300データセットからの追加のベンバ語テキストを用いて言語モデルを訓練し、ASR性能を向上させた。
• 最終モデルは、微調整済みの音声認識モデルと、訓練および検証用トランスクリプトからのみ生成された5-gram言語モデルを組み合わせた。
• モデル評価には、標準的な指標（語誤り率（WER）と文字誤り率（CER））を用い、訓練中に早期停止およびドロップアウト正則化を適用した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの英語ASRモデルを、低リソースのベンバ語音声コーパスに効果的に微調整できるか？
• RQ2 言語モデルの組み込みが、ベンバ語ASRシステムの性能に与える影響は何か？
• RQ3 JW300データセットのような外部ソースからの追加のベンバ語テキストを組み込むことで、ASR性能が向上するか？
• RQ4 転移学習を用いて訓練したベンバ語ASRモデルの性能は、初期から訓練したモデルと比べてどうか？
• RQ5 WERの向上を最大化するために最適な言語モデルのn-gramサイズとデータソースの組み合わせは何か？

主な発見

• 最も優れた性能を示したモデルは、事前学習済みのDeepSpeechモデルを微調整し、トランスクリプトから生成された5-gram言語モデルと組み合わせたもので、語誤り率（WER）は54.78％を達成した。
• 言語モデルの組み込みにより、微調整済みモデル単体のWER 71.21％から54.78％に低下し、顕著な性能向上が確認された。
• JW300データセットからの外部ベンバ語テキストの追加は性能向上に寄与せず、3-gram言語モデルを用いた場合にWERがわずかに55.65％に上昇した。これは、この設定下ではこのデータソースに恩恵がないことを示している。
• 初期から訓練したモデル（ベースライン）はWER 85.67％を記録し、低リソース環境下における転移学習の優位性が顕著に示された。
• 学習率0.00005で微調整し、ドロップアウト率0.4を設定した場合が最も優れた結果をもたらし、過学習を防ぐために早期停止を適用した。
• コーパスおよび訓練済みモデルはGitHubに公開されており、今後の研究と再現可能性を促進している。