[論文レビュー] The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition

Jonathan Mukiibi, Andrew Katumba+3 more|arXiv (Cornell University)|Jun 20, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本論文では、155時間にのぼるルガンドゥ語ラジオ音声データセット「Makerere Radio Speech Corpus」を紹介する。これはサハラ以南アフリカで初の公開ラジオコーパスであり、リソースが乏しい言語向けの自動音声認識（ASR）の発展を目的としている。キニャルワ語ASRモデルをルガンドゥ語Common Voiceおよびラジオデータでファインチューニングし、転移学習を活用することで、ラジオテストセットで47%のWERを達成し、ホットワードブースティングを用いたCOVID-19キーワード検出ではFスコア0.94を達成した。一方で、トランスクリプションに顕著な性別バイアスが確認された。

ABSTRACT

Building a usable radio monitoring automatic speech recognition (ASR) system is a challenging task for under-resourced languages and yet this is paramount in societies where radio is the main medium of public communication and discussions. Initial efforts by the United Nations in Uganda have proved how understanding the perceptions of rural people who are excluded from social media is important in national planning. However, these efforts are being challenged by the absence of transcribed speech datasets. In this paper, The Makerere Artificial Intelligence research lab releases a Luganda radio speech corpus of 155 hours. To our knowledge, this is the first publicly available radio dataset in sub-Saharan Africa. The paper describes the development of the voice corpus and presents baseline Luganda ASR performance results using Coqui STT toolkit, an open source speech recognition toolkit.

研究の動機と目的

• ルガンドゥ語（東アフリカに1,500万人以上が話すリソースが乏しいバントゥー諸語）のトランスクリプション音声データセットが不足しているという問題に対処すること。
• ウガンダやサハラ以南アフリカの大部分でラジオが公共的コミュニケーションの主要メディアであることを踏まえ、ルガンドゥ語向けのラジオ特化型ASRシステムの開発。
• 政策関連のインサイトを得るため、農村地域からの公的議論の自動監視を可能にすることで、公的議論へのアクセス性を向上させること。
• 特に代表されにくい女性の声が含まれる不均衡な音声データで訓練されたASRモデルにおける性別バイアスを評価・是正すること。
• 今後の研究を支援するため、公開可能な大規模なラジオ音声コーパスを提供すること。これは、アフリカ諸語向けの低リソース音声認識および自然言語処理分野の発展に貢献する。

提案手法

• トランスミッション、ニュース、電話参加型番組など、多様なソースから155時間のルガンドゥ語ラジオ音声を収集・キュレートし、実際の放送状況を反映させる。
• 事前学習済みキニャルワ語ASRモデル（Coqui STT）を、Common Voiceから得た203時間の読み上げルガンドゥ語音声および120.7時間のラジオデータでファインチューニングすることで、転移学習を活用。
• エンドツーエンドの自動音声認識を実現するため、強制アライメントを必要としない、接続主義的時系列分類（CTC）を採用。
• ノイズの多い低リソース環境下でのキーワード検出（例：'covid'、'kolona'）を向上させるために、ホットワードブースティング（HTWD-B）を実装。
• モデルの性能を発話者属性ごとに評価するため、未使用のラジオスタジオ録音から性別バランスの取れたテストセット（男性14分、女性14分）を構築。
• 一般タスクおよびキーワード特化タスクのASR性能を評価するため、語誤り率（WER）およびFスコアを用い、トランスクリプションの手動検証を実施。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みキニャルワ語ASRモデルを、リソースが乏しいバントゥー諸語のルガンドゥ語に適応させる転移学習アプローチは、実用的な性能を達成できるか？
• RQ2 低リソースのラジオASRシステムにおいて、ホットワードブースティングは、COVID-19などの公衆衛生上の重要なトピックのキーワード検出をどの程度効果的に向上させられるか？
• RQ3 トレーニングデータにおける性別バイアス（特に女性の声が不足している状況）が、ルガンドゥ語の男性および女性の声に対するASR性能にどの程度の影響を及えるか？
• RQ4 エンドツーエンドのCTCベースASRモデルは、多様で現実的なルガンドゥ語ラジオテストセットでどの程度の性能を示すか？
• RQ5 公開された大規模なラジオ音声コーパスは、アフリカ諸語向けの自動音声認識を顕著に前進させられるか？

主な発見

• ルガンドゥ語ASRモデルは、ホールドアウトされたラジオテストセットで47%の語誤り率（WER）を達成し、実際のラジオ監視応用の実現可能性を示した。
• ホットワードブースティングにより、キーワード検出のFスコアが0.89から0.94に向上し、122件のテストデータセットで誤検出（FN）が21件から14件に減少した。
• モデルは顕著な性別バイアスを示しており、女性の声ではWERが70.6%、男性の声では53.5%であった。これはトレーニングデータに男性が81.9%を占めていることに起因する。
• Makerere Radio Speech Corpus（155時間のルガンドゥ語ラジオ音声）が公開され、サハラ以南アフリカで初の同種のコーパスとなった。
• 本研究は、関連言語（キニャルワ語）からの転移学習に加え、ドメイン特化ファインチューニングを組み合わせることで、限定的なターゲット言語データでも機能的なASRモデルを構築可能であることを確認した。
• 結果から、女性の声が不十分に代表されていると、実運用環境で性能が顕著に低下するため、バランスの取れたデータ収集の重要性が浮き彫りになった。