[論文レビュー] Effectiveness of Mining Audio and Text Pairs from Public Data for Improving ASR Systems for Low-Resource Languages

Kaushal Santosh Bhogale, Abhigyan Raman+5 more|arXiv (Cornell University)|Aug 26, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、All India Radioの公開アーカイブから高品質な音声・テキストペアを抽出することで、12種のインド諸言語を対象とした6,457時間にのぼる多言語音声認識（ASR）データセット「Shrutilipi」を構築する手法を提案する。OCRで変換されたテキストとCTCでアラインメントされたASR出力を、修正版ネイディマン＝ウンシュアルゴリズムを用いて対応付けることで、OCRの誤りや非変換音声セグメントに対しても耐性を持つアラインメントを実現し、Wav2Vecモデルを微調整した際、IndicSUPERBベンチマークで平均5.8％のWER低減を達成した。

ABSTRACT

End-to-end (E2E) models have become the default choice for state-of-the-art speech recognition systems. Such models are trained on large amounts of labelled data, which are often not available for low-resource languages. Techniques such as self-supervised learning and transfer learning hold promise, but have not yet been effective in training accurate models. On the other hand, collecting labelled datasets on a diverse set of domains and speakers is very expensive. In this work, we demonstrate an inexpensive and effective alternative to these approaches by ``mining'' text and audio pairs for Indian languages from public sources, specifically from the public archives of All India Radio. As a key component, we adapt the Needleman-Wunsch algorithm to align sentences with corresponding audio segments given a long audio and a PDF of its transcript, while being robust to errors due to OCR, extraneous text, and non-transcribed speech. We thus create Shrutilipi, a dataset which contains over 6,400 hours of labelled audio across 12 Indian languages totalling to 4.95M sentences. On average, Shrutilipi results in a 2.3x increase over publicly available labelled data. We establish the quality of Shrutilipi with 21 human evaluators across the 12 languages. We also establish the diversity of Shrutilipi in terms of represented regions, speakers, and mentioned named entities. Significantly, we show that adding Shrutilipi to the training set of Wav2Vec models leads to an average decrease in WER of 5.8\% for 7 languages on the IndicSUPERB benchmark. For Hindi, which has the most benchmarks (7), the average WER falls from 18.8% to 13.5%. This improvement extends to efficient models: We show a 2.3% drop in WER for a Conformer model (10x smaller than Wav2Vec). Finally, we demonstrate the diversity of Shrutilipi by showing that the model trained with it is more robust to noisy input.

研究の動機と目的

• 低リソースなインド諸言語における自動音声認識（ASR）の分野で、大規模かつ多様性に富み、高品質なラベル付き音声データの不足を是正すること。
• All India Radioのニュースなど、公開済みで非構造的なアーカイブから、音声とテキストのペアをスケーラブルかつ耐性を持って抽出する手法を開発すること。
• 抽出されたデータセットの有効性を、ノイズ混在状態や効率的なモデルアーキテクチャを含む多様なベンチマークで評価し、ASR性能の向上を検証すること。
• 公開データの抽出が、エンドツーエンドASRシステムにおける高リソース言語と低リソース言語の性能格差を顕著に是正できることを示すこと。

提案手法

• 長時間の音声ニュース番組をAll India Radioから取得し、ASRシステム（IndicWav2Vec）を用いて音声セグメントごとにCTCでアラインメントされた文字列を生成する。
• PDF形式のトランスクリプトからテキストをOCRで抽出し、フォーマットやメタデータ、非変換コンテンツを処理するためのテキストクリーニングを実施する。
• OCRの誤りや発話の不規則さに対応するため、挿入・削除・不一致に対するペナルティを導入した修正版ネイディマン＝ウンシュアルゴリズムを用いて、テキストセグメントと音声セグメントをアラインメントする。
• 高類似度の文ペアに焦点を当てることで、非変換発話、バックグラウンド音楽、コードミキシングに対しても耐性を持つようにアラインメントプロセスを最適化する。
• 得られたデータセット「Shrutilipi」は、12種のインド諸言語で合計6,457時間の音声と495万件の文を含み、21名の人的アノテーターによるきめ細やかな品質評価が実施された。
• Wav2VecおよびConformerモデルを複数のベンチマークで微調整することで、Shrutilipiの有効性を評価した。評価はクリアな状態とノイズ混在状態の両方を含む。

実験結果

リサーチクエスチョン

• RQ1 公開済みで非構造的な音声およびテキストアーカイブから、低リソース言語のASR向けに高品質で大規模な学習データを効果的に抽出できるか？
• RQ2 OCRの誤り、非変換音声、フォーマットの不一致に直面した際、修正版ネイディマン＝ウンシュアルゴリズムが音声とテキストセグメントをどれほど効果的にアラインメントできるか？
• RQ3 Shrutilipiから抽出したデータを追加することで、既存の公開データセットと比較して、低リソースインド諸言語のASR性能がどの程度向上するか？
• RQ4 Shrutilipiで学習させることで、特に実世界の展開状況においてノイズに強いモデルの性能が向上するか？

主な発見

• Shrutilipiは12種のインド諸言語で合計6,457時間のラベル付き音声を含み、既存の公開データセットと比較して平均2.3倍の学習データ量を提供している。
• 人的評価により、21名の評価者が12言語にわたり、データが信頼性が高く、地域的・言語的多様性を的確に反映していると評価した。
• Wav2VecモデルをShrutilipiで微調整した結果、IndicSUPERBベンチマークで7言語にわたって平均5.8％の相対的WER低減が達成され、ヒンディー語ではWERが18.8％から13.5％に低下した。
• Wav2Vecの10分の1のサイズであるConformerモデルも、Shrutilipiで学習させることで2.3％の絶対的WER低減を達成し、効率的なアーキテクチャに対しても有効性が示された。
• ESCデータセットから追加された背景ノイズを含む難易度の高いベンチマークでは、Shrutilipiで学習したモデルが平均5.9％のWER低減を示し、ノイズに強い性能が裏付けられた。
• 話者、地域、固有名詞の多様性がデータセットに適切に反映されており、より多様性に富んだデータで学習したモデルは、より困難なドメイン外テストセットやノイズ混在テストセットでも、より優れた性能を示した。