[論文レビュー] Vakyansh: ASR Toolkit for Low Resource Indic languages

Harveen Singh Chadha, Anirudh Gupta+5 more|arXiv (Cornell University)|Mar 30, 2022

Speech Recognition and Synthesis被引用数 15

ひとこと要約

Vakyansh は、低リソースなインド諸言語向けのオープンソースでエンドツーエンドの ASR ツールキットであり、23 語にわたり合計 14,000 時間のラベルなし音声データと 10,000 時間のラベル付き音声データを提供する。wav2vec 2.0 をベースにした事前学習と微調整により、最先端の ASR 性能を実現し、言語モデルを用いることで最大 20% の WER 減少を達成するとともに、生産環境向けの推論を可能にする句読点回復および逆テキスト正規化をサポートする。

ABSTRACT

We present Vakyansh, an end to end toolkit for Speech Recognition in Indic languages. India is home to almost 121 languages and around 125 crore speakers. Yet most of the languages are low resource in terms of data and pretrained models. Through Vakyansh, we introduce automatic data pipelines for data creation, model training, model evaluation and deployment. We create 14,000 hours of speech data in 23 Indic languages and train wav2vec 2.0 based pretrained models. These pretrained models are then finetuned to create state of the art speech recognition models for 18 Indic languages which are followed by language models and punctuation restoration models. We open source all these resources with a mission that this will inspire the speech community to develop speech first applications using our ASR models in Indic languages.

研究の動機と目的

• 低リソースなインド諸言語向けに、データと事前学習済みモデルが限られたオープンソースでエンドツーエンドの ASR ツールキットが不足している問題に対処すること。
• 23 語のインド諸言語にわたる、データ収集、クリーニング、アノテーションのためのスケーラブルで自動化されたパイプラインの構築。
• wav2vec 2.0 と転移学習を用いて、18 語のインド諸言語向けに最先端の ASR モデルを訓練・公開すること。
• 生産環境へのデプロイメントを可能にするために、言語モデル、句読点回復、逆テキスト正規化などの下流 NLP 機能を統合すること。
• オープンソースで提供されたデータ、モデル、ツールを活用して、インド語での音声優先のアプリケーションの促進。

提案手法

• 音声活動検出と 1〜15 秒のセグメントへの音声分割を実現するため、WebRTC-VAD を用いた自動音声処理パイプラインを構築。
• SNR < 20 または > 60 の低品質な音声チャンクをフィルタリングするため、WADA SNR を適用し、初期データの 35% をノイズとして除外。
• リサミラー・エムベッディングと HDBSCAN クラスタリングを用いて、1 人の発話者あたり 90 分以内に発話量を制限し、過学習を低減。
• 23 語のインド諸言語にわたる 14,000 時間のラベルなしデータでマルチリンガル wav2vec 2.0 モデルを事前学習し、18 語の言語で 10,000 時間のラベル付きデータで微調整。
• クリーニング済みの IndicCorp データで 5-gram KenLM 言語モデルを訓練し、LM 重み 2 と単語挿入ペナルティ -1 を用いたビームサーチにより、ASR 出力の品質向上を図る。
• 句読点回復用にマルチリンガルな IndicBERT をベースにしたトークン分類モデルを開発し、逆テキスト正規化（ITN）にはルールベースの WFST を採用。

実験結果

リサーチクエスチョン

• RQ1 自動的かつスケーラブルなパイプラインは、低リソースなインド諸言語向けに、高品質で多様性に富み、バランスの取れた音声データを生成できるか？
• RQ2 高リソース言語（例：ヒンディー語）を用いたマルチリンガル事前学習が、低リソースなインド諸言語の ASR 性能をどの程度向上できるか？
• RQ3 言語モデルと句読点回復は、WER の低減と ASR 出力の読みやすさ向上にどの程度効果的か？
• RQ4 マルチリンガル事前学習モデル（CLSRIL-23）からの転移学習は、低リソース言語を含む多様なインド諸言語に一般化可能か？
• RQ5 データ品質指標（SNR、発話者バランス、ドメインの多様性）は、最終的な ASR モデル性能にどのような影響を与えるか？

主な発見

• 言語モデルを適用した場合、Vakyansh ツールキットは平均で 20% の WER 減少を達成し、ヒンディー語の WER は 17.81 から 11.53 に低下した。
• マルチリンガル CLSRIL-23 事前学習モデルは、事前学習データに含まれないターゲット言語に対しても、低リソース言語での微調整を効果的に可能にした。
• IndicBERT を用いた句読点回復により、ASR 出力の曖昧さが低減され、下流 NLP タスクのためのテキストの読みやすさが向上した。
• WFST を用いた逆テキスト正規化により、話された数字表記（例：'one thousand two hundred'）が標準的な書式に正しく変換された。
• パイプラインは高いデータ品質を達成し、ノイズのため初期音声チャンクの 35% を除外したほか、性別と発話者分布のバランスも確保した。
• ドゥルジー語（3.5 時間）、マイティリ語（3 時間）、アサイア語（1.2 時間）といった低リソース言語向けモデルは、WER が 35% 未満に達し、データ効率の良い学習の有効性を示した。