[論文レビュー] Speech Resources in the Tamasheq Language

Marcely Zanon Boito, Fethi Bougares+5 more|arXiv (Cornell University)|Jan 13, 2022

Speech Recognition and Synthesis被引用数 12

ひとこと要約

本論文は、マリおよびニジェールで話されている低リソースのバーバル語・タマシュェク語のための2つの新しい音声リソースを紹介する。1つは671時間のマルチリンガル音声コーパス（うち224時間はタマシュェク語）であり、もう1つは発話単位の翻訳が付された17時間の並列タマシュェク語＝フランス語音声翻訳コーパスである。これらのリソースはCC BY-NC-ND 3.0ライセンスで共有されており、複数のアフリカ諸語をカバーする多様で現実世界の放送ニュースデータを用いたモデルの訓練およびベンチマーク化を可能にすることで、低リソース音声翻訳研究の前進を図ることを目的としている。

ABSTRACT

In this paper we present two datasets for Tamasheq, a developing language mainly spoken in Mali and Niger. These two datasets were made available for the IWSLT 2022 low-resource speech translation track, and they consist of collections of radio recordings from daily broadcast news in Niger (Studio Kalangou) and Mali (Studio Tamani). We share (i) a massive amount of unlabeled audio data (671 hours) in five languages: French from Niger, Fulfulde, Hausa, Tamasheq and Zarma, and (ii) a smaller 17 hours parallel corpus of audio recordings in Tamasheq, with utterance-level translations in the French language. All this data is shared under the Creative Commons BY-NC-ND 3.0 license. We hope these resources will inspire the speech community to develop and benchmark models using the Tamasheq language.

研究の動機と目的

• マリおよびニジェールで話されているタマシュェク語（トゥアレグ語の方言）のような低リソース言語におけるアノテーション付き音声リソースの不足に応えること。
• 高品質で現実世界の放送ニュース録音を提供することで、低リソースの音声認識および音声翻訳システムの開発を支援すること。
• 地理的に共存する言語（例えばフランス語、ハウサ語、フルール語、ザルマ語）のマルチリンガルでラベルなしの音声データを活用して、タマシュェク語モデルの性能を向上させることの可能性を検討すること。
• 現実的で多様かつ地域的に代表的なデータを用いて、IWSLT 2022の低リソース音声翻訳トラックにおけるベンチマークを可能にすること。

提案手法

• 音声データは、Fondation Hirondelleの承認を得て、ニジェールのStudio KalangouおよびマリのStudio Tamaniが制作する毎日の放送ニュース番組から収集された。
• 17時間の並列タマシュェク語＝フランス語コーパスは、ネイティブのタマシュェク語話者による手動翻訳と、熟練したフランス語話者による後処理を経て作成され、アノテーションにはTranscriberツールが使用された。
• マルチリンガル音声コーパスには、タマシュェク語224時間、その他のニジェール語（フランス語、フルール語、ハウサ語、ザルマ語）417時間が含まれており、ラジオ放送のwebクロールによる.mp3ファイルから構成された。
• 音声認識および翻訳モデルは、タマシュェク語データ上で自己教師あり事前学習（例：wav2vec2.0）およびトランスファー学習技術を用いて微調整された。
• 音声品質に配慮したデータのキュレーションが行われ、背景ノイズや重複発話の低減が図られ、一部の発話には性別アノテーションが付加された。
• すべてのリソースは、オープンな研究およびモデル開発を促進するためにCreative Commons BY-NC-ND 3.0ライセンスで公開された。

実験結果

リサーチクエスチョン

• RQ1 多様なアフリカ諸語（タマシュェク語も含む）のマルチリンガルで自己教師あり事前学習を実施することで、低リソース音声翻訳の性能が向上するか？
• RQ2 同じ地理的地域から得たラベルなしのマルチリンガル音声データを、タマシュェク語の音声認識および翻訳の向上にどの程度活用できるか？
• RQ3 小規模だが高品質な並列タマシュェク語＝フランス語コーパスは、完全に自己教師ありのアプローチと比較して、エンドツーエンドの音声翻訳モデルの訓練にどの程度有効か？
• RQ4 データ品質およびアノテーションの一貫性が、低リソース音声翻訳設定におけるモデル性能に与える影響は何か？
• RQ5 高リソース言語（例：フランス語）からのトランスファー学習は、タマシュェク語の音声認識および音声翻訳システムの性能向上に寄与するか？

主な発見

• 本研究では、224時間のタマシュェク語音声に加え、フランス語、フルール語、ハウサ語、ザルマ語の417時間分の録音を含む671時間のマルチリンガル音声コーパスをリリースした。これにより、クロスリンガル事前学習が可能になった。
• 発話単位の翻訳が付された17時間の並列タマシュェク語＝フランス語音声翻訳コーパスが作成され、教師あり学習の貴重なリソースとなった。
• データは本物の毎日のニュース放送から収集されており、実用的応用における言語的・文化的妥当性が保証された。
• CC BY-NC-ND 3.0ライセンスでリソースが公開されており、低リソース音声翻訳分野におけるオープンな研究と再現可能性を促進している。
• 一部の発話には性別アノテーションが付加されており、発話および話者特性の細分化分析を可能にしている。
• 本研究は、IWSLT 2022の低リソース音声翻訳トラックにおけるベンチマークの基盤を提供し、データ効率的かつマルチリンガル音声モデルに関する研究を支援している。