[論文レビュー] Applying wav2vec2 for Speech Recognition on Bengali Common Voices Dataset

H. A. Z. Sameen Shahgir, Khondker Salman Sayeed+1 more|arXiv (Cornell University)|Sep 11, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

この論文では、低リソース言語であるベンガル語の音声認識を改善するために、選別されたベンガル語Common Voiceデータセット上でFacebookのwav2vec2.0-large-xlsr-53をファインチューニングすることを提案している。37,500件の高品質かつアップボートされた音声サンプルを用いて訓練した後、検証データと組み合わせたところ、テストデータにおいて語彙誤り率（WER）が0.2524、レーベンシュタイン距離が2.6075を記録し、隠しテストセットにおいて他の提出物を上回った性能を達成した。

ABSTRACT

Speech is inherently continuous, where discrete words, phonemes and other units are not clearly segmented, and so speech recognition has been an active research problem for decades. In this work we have fine-tuned wav2vec 2.0 to recognize and transcribe Bengali speech -- training it on the Bengali Common Voice Speech Dataset. After training for 71 epochs, on a training set consisting of 36919 mp3 files, we achieved a training loss of 0.3172 and WER of 0.2524 on a validation set of size 7,747. Using a 5-gram language model, the Levenshtein Distance was 2.6446 on a test set of size 7,747. Then the training set and validation set were combined, shuffled and split into 85-15 ratio. Training for 7 more epochs on this combined dataset yielded an improved Levenshtein Distance of 2.60753 on the test set. Our model was the best performing one, achieving a Levenshtein Distance of 6.234 on a hidden dataset, which was 1.1049 units lower than other competing submissions.

研究の動機と目的

• ベンガル語の音声認識性能を向上させること。これは、転写データが限られる低リソース言語である。
• 多言語wav2vec2.0を用いた自己教師付き事前学習が、ベンガル語のような低リソース言語において効果的であるかを調査すること。
• アップボート／ダウンボートのメトリクスを用いたデータ品質のフィルタリングが、モデル性能に与える影響を評価すること。
• 段階的なデータ露出（増加するデータセットサイズを用いた段階的訓練）が、未知のテストデータに対する一般化性能に与える利点を調査すること。
• 最小限のラベル付きデータで、多言語事前学習モデルをファインチューニングすることでベンガル語ASRで最先端の結果が得られることを示すこと。

提案手法

• アップボート数 > ダウンボート数のサンプルのみを選別したベンガル語Common Voiceデータセットのサブセット上で、自己教師付きwav2vec2.0-large-xlsr-53モデルをファインチューニングした。
• 音声ファイルを16kHzにリサンプリングし、トランスクリプションを文字単位にトークン化してモデル入力に適した形式に前処理した。
• 2段階の訓練プロセスを実施：最初に37,500件の訓練サンプルで訓練し、その後シャッフルを施した後、訓練データと検証データを統合した45,000件のデータセットで再訓練した。
• 推論段階で5-gram言語モデルを適用し、テストセットにおけるレーベンシュタイン距離の改善を図った。
• ファインチューニング段階で予測トランスクリプションと正解を一致させるために、接続主義的時系列分類（CTC）損失を用いた。
• 語彙誤り率（WER）とレーベンシュタイン距離を用いて、別々のテストセット上で性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 多言語的自己教師付きwav2vec2.0モデルは、ラベル付きデータが限られる状況下でもベンガル語音声認識で優れた性能を達成できるか？
• RQ2 アップボート／ダウンボートメトリクスを用いた訓練データのフィルタリングが、低リソース音声認識タスクにおけるモデル性能を向上させるか？
• RQ3 訓練中に段階的に大きな統合データセットに露出させることで、未知のテストデータに対する一般化性能が向上するか？
• RQ4 Common Voiceデータセットの選別されたサブセットでファインチューニングされたwav2vec2.0の性能は、他のモデルと比較してどうか？
• RQ5 ヨーロッパ言語で事前学習したモデルが、ベンガル語のような非ヨーロッパ・低リソース言語の性能に与える影響はどの程度か？

主な発見

• 71エポックの訓練後、7,747件の検証データセット上で、訓練損失は0.3172、語彙誤り率（WER）は0.2524を記録した。
• より大きな45,000件のデータセットに統合し再訓練した後、テストセットにおけるレーベンシュタイン距離は2.6446から2.60753に改善した。
• 隠しテストセットでは、レーベンシュタイン距離が6.234であり、他の提出物と比較して1.1049単位低い結果を達成した。
• 過学習の兆候はほとんどなく、損失とWERが安定した後も、評価指標がわずかに改善を続けた。
• 推論段階で5-gram言語モデルを適用することで、テストセットにおけるレーベンシュタイン距離が低下し、誤り補正能力の向上が示された。
• 結果から、ベンガル語に近い言語で事前学習を行うことで、さらに高い性能が得られる可能性があることが示唆され、現在のモデルはベンガル語における既存の最先端性能に対して僅かな改善に留まっている。